Analysis-boosted (More_than_a_corgi_club)
Jin Kweon and Jiyoon Clover Jeong
11/28/2017
newtrain2 <- read.csv("../data/cleandata/newtrain2.csv", header = T)
newtest2 <- read.csv("../data/cleandata/newtest2.csv", header = T)
str(newtrain2)## 'data.frame': 32402 obs. of 44 variables:
## $ age : int 39 50 38 53 28 37 49 52 31 42 ...
## $ education.num : int 13 13 9 7 13 14 5 9 14 13 ...
## $ capital.gain : int 2174 0 0 0 0 0 0 0 14084 5178 ...
## $ capital.loss : int 0 0 0 0 0 0 0 0 0 0 ...
## $ hours.per.week : int 40 13 40 40 40 40 16 45 50 40 ...
## $ Local.gov : int 0 0 0 0 0 0 0 0 0 0 ...
## $ No.gain : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Private : int 0 0 1 1 1 1 1 0 1 1 ...
## $ Self.emp.inc : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Self.emp.not.inc : int 0 1 0 0 0 0 0 1 0 0 ...
## $ State.gov : int 1 0 0 0 0 0 0 0 0 0 ...
## $ Married.AF.spouse : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Married.civ.spouse : int 0 1 0 1 1 1 0 1 0 1 ...
## $ Married.spouse.absent: int 0 0 0 0 0 0 1 0 0 0 ...
## $ Never.married : int 1 0 0 0 0 0 0 0 1 0 ...
## $ Separated : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Widowed : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Armed.Forces : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Craft.repair : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Exec.managerial : int 0 1 0 0 0 1 0 1 0 1 ...
## $ Farming.fishing : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Handlers.cleaners : int 0 0 1 1 0 0 0 0 0 0 ...
## $ Machine.op.inspct : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Other.service : int 0 0 0 0 0 0 1 0 0 0 ...
## $ Priv.house.serv : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Prof.specialty : int 0 0 0 0 1 0 0 0 1 0 ...
## $ Protective.serv : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Sales : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Tech.support : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Transport.moving : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Not.in.family : int 1 0 1 0 0 0 1 0 1 0 ...
## $ Other.relative : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Own.child : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Unmarried : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Wife : int 0 0 0 0 1 1 0 0 0 0 ...
## $ Asian.Pac.Islander : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Black : int 0 0 0 1 1 0 1 0 0 0 ...
## $ Other : int 0 0 0 0 0 0 0 0 0 0 ...
## $ White : int 1 1 1 0 0 1 0 1 1 1 ...
## $ Male : int 1 1 1 1 0 0 0 1 0 1 ...
## $ other_countries : int 0 0 0 0 1 0 1 0 0 0 ...
## $ Philippines : int 0 0 0 0 0 0 0 0 0 0 ...
## $ United.States : int 1 1 1 1 0 1 0 1 1 1 ...
## $ income : Factor w/ 2 levels "<=50K",">50K": 1 1 1 1 1 1 1 2 2 2 ...str(newtest2)## 'data.frame': 16196 obs. of 44 variables:
## $ age : int 25 38 28 44 18 34 29 63 24 55 ...
## $ education.num : int 7 9 12 10 10 6 9 15 10 4 ...
## $ capital.gain : int 0 0 0 7688 0 0 0 3103 0 0 ...
## $ capital.loss : int 0 0 0 0 0 0 0 0 0 0 ...
## $ hours.per.week : int 40 50 40 40 30 30 40 32 40 10 ...
## $ Local.gov : int 0 0 1 0 0 0 0 0 0 0 ...
## $ No.gain : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Private : int 1 1 0 1 1 1 1 0 1 1 ...
## $ Self.emp.inc : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Self.emp.not.inc : int 0 0 0 0 0 0 0 1 0 0 ...
## $ State.gov : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Married.AF.spouse : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Married.civ.spouse : int 0 1 1 1 0 0 0 1 0 1 ...
## $ Married.spouse.absent: int 0 0 0 0 0 0 0 0 0 0 ...
## $ Never.married : int 1 0 0 0 1 1 1 0 1 0 ...
## $ Separated : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Widowed : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Armed.Forces : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Craft.repair : int 0 0 0 0 0 0 0 0 0 1 ...
## $ Exec.managerial : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Farming.fishing : int 0 1 0 0 0 0 0 0 0 0 ...
## $ Handlers.cleaners : int 0 0 0 0 0 0 1 0 0 0 ...
## $ Machine.op.inspct : int 1 0 0 1 0 0 0 0 0 0 ...
## $ Other.service : int 0 0 0 0 0 1 0 0 1 0 ...
## $ Priv.house.serv : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Prof.specialty : int 0 0 0 0 0 0 0 1 0 0 ...
## $ Protective.serv : int 0 0 1 0 0 0 0 0 0 0 ...
## $ Sales : int 0 0 0 0 1 0 0 0 0 0 ...
## $ Tech.support : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Transport.moving : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Not.in.family : int 0 0 0 0 0 1 0 0 0 0 ...
## $ Other.relative : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Own.child : int 1 0 0 0 1 0 0 0 0 0 ...
## $ Unmarried : int 0 0 0 0 0 0 1 0 1 0 ...
## $ Wife : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Asian.Pac.Islander : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Black : int 1 0 0 1 0 0 1 0 0 0 ...
## $ Other : int 0 0 0 0 0 0 0 0 0 0 ...
## $ White : int 0 1 1 0 1 1 0 1 1 1 ...
## $ Male : int 1 1 1 1 0 1 1 1 0 1 ...
## $ other_countries : int 0 0 0 0 0 0 0 0 0 0 ...
## $ Philippines : int 0 0 0 0 0 0 0 0 0 0 ...
## $ United.States : int 1 1 1 1 1 1 1 1 1 1 ...
## $ income : Factor w/ 2 levels "<=50K",">50K": 1 1 2 2 1 1 1 2 1 1 ...Boosted Trees with five different models
set.seed(100)
#Change to binary digit
combined <- rbind(newtrain2, newtest2)
combined$income <- as.numeric(combined$income) - 1
#First model
boosting1 <- gbm(income ~., data = combined[1:32402, ], distribution = "bernoulli", n.trees = 5000,
interaction.depth = 5)
summary(boosting1)
## var rel.inf
## Married.civ.spouse Married.civ.spouse 38.1837367227
## education.num education.num 20.9431635081
## capital.gain capital.gain 19.4087323351
## age age 5.9208507786
## capital.loss capital.loss 5.6876403549
## hours.per.week hours.per.week 4.1947843573
## Exec.managerial Exec.managerial 2.1507741422
## Prof.specialty Prof.specialty 0.7081632260
## Farming.fishing Farming.fishing 0.6308016194
## Other.service Other.service 0.4673220145
## Wife Wife 0.4662046626
## Self.emp.not.inc Self.emp.not.inc 0.4328393928
## Tech.support Tech.support 0.2974840537
## Male Male 0.2127979776
## Self.emp.inc Self.emp.inc 0.0755118841
## Sales Sales 0.0653378908
## Machine.op.inspct Machine.op.inspct 0.0257029903
## Handlers.cleaners Handlers.cleaners 0.0256512584
## Married.AF.spouse Married.AF.spouse 0.0189114782
## White White 0.0172110098
## Local.gov Local.gov 0.0118613048
## Protective.serv Protective.serv 0.0118433164
## Not.in.family Not.in.family 0.0098799096
## Never.married Never.married 0.0091057857
## Own.child Own.child 0.0083974189
## United.States United.States 0.0068051014
## Philippines Philippines 0.0026801348
## other_countries other_countries 0.0017482677
## Transport.moving Transport.moving 0.0012086023
## Private Private 0.0011931320
## Unmarried Unmarried 0.0007028850
## Asian.Pac.Islander Asian.Pac.Islander 0.0003466238
## State.gov State.gov 0.0003137560
## Black Black 0.0002921043
## No.gain No.gain 0.0000000000
## Married.spouse.absent Married.spouse.absent 0.0000000000
## Separated Separated 0.0000000000
## Widowed Widowed 0.0000000000
## Armed.Forces Armed.Forces 0.0000000000
## Craft.repair Craft.repair 0.0000000000
## Priv.house.serv Priv.house.serv 0.0000000000
## Other.relative Other.relative 0.0000000000
## Other Other 0.0000000000varImp(boosting1, numTrees = 5000)## Overall
## age 41799.956531
## education.num 147854.313003
## capital.gain 137021.552859
## capital.loss 40153.540174
## hours.per.week 29614.291991
## Local.gov 83.738308
## No.gain 0.000000
## Private 8.423260
## Self.emp.inc 533.097960
## Self.emp.not.inc 3055.754736
## State.gov 2.215051
## Married.AF.spouse 133.511044
## Married.civ.spouse 269569.120198
## Married.spouse.absent 0.000000
## Never.married 64.284925
## Separated 0.000000
## Widowed 0.000000
## Armed.Forces 0.000000
## Craft.repair 0.000000
## Exec.managerial 15184.011389
## Farming.fishing 4453.326263
## Handlers.cleaners 181.092469
## Machine.op.inspct 181.457685
## Other.service 3299.194765
## Priv.house.serv 0.000000
## Prof.specialty 4999.482874
## Protective.serv 83.611314
## Sales 461.271715
## Tech.support 2100.174616
## Transport.moving 8.532477
## Not.in.family 69.750076
## Other.relative 0.000000
## Own.child 59.284005
## Unmarried 4.962219
## Wife 3291.306496
## Asian.Pac.Islander 2.447091
## Black 2.062194
## Other 0.000000
## White 121.506095
## Male 1502.308798
## other_countries 12.342401
## Philippines 18.921186
## United.States 48.042579#Test error of the first model
set.seed(100)
testerror1 <- c()
thresh <- 0.5
for(i in 1:500){
#If I do not type = "response", they will give you logit output.
yhat <- predict(boosting1, newdata = combined[32403:48598, -44], n.trees = (10 * i), type = "response")
yhat <- (yhat > thresh)
testerror1[i] <- mean(yhat != combined[32403:48598, 44])
}
plot(testerror1)
#ROC curve - testing
pos1 <- c()
pos1 <- predict(boosting1, newdata = combined[32403:48598, -44], n.trees = 5000, type = "response")
predicts1 <- prediction(pos1, combined[32403:48598, 44])
roc1 <- ROCR::performance(predicts1, measure = "tpr", x.measure = "fpr")
plot(roc1)
abline(0, 1, col = "red")
auc1 <- ROCR::performance(predicts1, measure = "auc")
auc1@y.values## [[1]]
## [1] 0.913919#Train error of the first model
set.seed(100)
trainerror1 <- c()
thresh <- 0.5
for(i in 1:500){
yhat <- predict(boosting1, newdata = combined[1:32402, -44], n.trees = (10 * i), type = "response")
yhat <- (yhat > thresh)
trainerror1[i] <- mean(yhat != combined[1:32402, 44])
}
plot(trainerror1)
#ROC curve - training
pos1b <- c()
pos1b <- predict(boosting1, newdata = combined[1:32402, -44], n.trees = 5000, type = "response")
predicts1b <- prediction(pos1b, combined[1:32402, 44])
roc1b <- ROCR::performance(predicts1b, measure = "tpr", x.measure = "fpr")
plot(roc1b)
abline(0, 1, col = "red")
auc1b <- ROCR::performance(predicts1b, measure = "auc")
auc1b@y.values## [[1]]
## [1] 0.9161409#Second model
set.seed(100)
boosting2 <- gbm(income ~., data = combined[1:32402, ], distribution = "bernoulli", n.trees = 2000,
interaction.depth = 5)
summary(boosting2)
## var rel.inf
## Married.civ.spouse Married.civ.spouse 43.183739803
## education.num education.num 22.269924180
## capital.gain capital.gain 20.182879377
## age age 4.792613523
## capital.loss capital.loss 4.080112884
## hours.per.week hours.per.week 3.115147219
## Exec.managerial Exec.managerial 1.571469479
## Prof.specialty Prof.specialty 0.461127929
## Farming.fishing Farming.fishing 0.183178723
## Self.emp.not.inc Self.emp.not.inc 0.063849502
## Other.service Other.service 0.042141531
## Wife Wife 0.020667103
## Tech.support Tech.support 0.020408954
## Male Male 0.005805212
## Sales Sales 0.002968312
## Self.emp.inc Self.emp.inc 0.002497470
## Never.married Never.married 0.001468800
## Local.gov Local.gov 0.000000000
## No.gain No.gain 0.000000000
## Private Private 0.000000000
## State.gov State.gov 0.000000000
## Married.AF.spouse Married.AF.spouse 0.000000000
## Married.spouse.absent Married.spouse.absent 0.000000000
## Separated Separated 0.000000000
## Widowed Widowed 0.000000000
## Armed.Forces Armed.Forces 0.000000000
## Craft.repair Craft.repair 0.000000000
## Handlers.cleaners Handlers.cleaners 0.000000000
## Machine.op.inspct Machine.op.inspct 0.000000000
## Priv.house.serv Priv.house.serv 0.000000000
## Protective.serv Protective.serv 0.000000000
## Transport.moving Transport.moving 0.000000000
## Not.in.family Not.in.family 0.000000000
## Other.relative Other.relative 0.000000000
## Own.child Own.child 0.000000000
## Unmarried Unmarried 0.000000000
## Asian.Pac.Islander Asian.Pac.Islander 0.000000000
## Black Black 0.000000000
## Other Other 0.000000000
## White White 0.000000000
## other_countries other_countries 0.000000000
## Philippines Philippines 0.000000000
## United.States United.States 0.000000000varImp(boosting2, numTrees = 2000)## Overall
## age 29254.355185
## education.num 135936.742808
## capital.gain 123197.315843
## capital.loss 24905.215267
## hours.per.week 19015.016079
## Local.gov 0.000000
## No.gain 0.000000
## Private 0.000000
## Self.emp.inc 15.244682
## Self.emp.not.inc 389.740585
## State.gov 0.000000
## Married.AF.spouse 0.000000
## Married.civ.spouse 263595.730442
## Married.spouse.absent 0.000000
## Never.married 8.965628
## Separated 0.000000
## Widowed 0.000000
## Armed.Forces 0.000000
## Craft.repair 0.000000
## Exec.managerial 9592.329127
## Farming.fishing 1118.132183
## Handlers.cleaners 0.000000
## Machine.op.inspct 0.000000
## Other.service 257.234036
## Priv.house.serv 0.000000
## Prof.specialty 2814.748184
## Protective.serv 0.000000
## Sales 18.118727
## Tech.support 124.577289
## Transport.moving 0.000000
## Not.in.family 0.000000
## Other.relative 0.000000
## Own.child 0.000000
## Unmarried 0.000000
## Wife 126.153040
## Asian.Pac.Islander 0.000000
## Black 0.000000
## Other 0.000000
## White 0.000000
## Male 35.435306
## other_countries 0.000000
## Philippines 0.000000
## United.States 0.000000#Test error of the second model
set.seed(100)
testerror2 <- c()
thresh <- 0.5
for(i in 1:200){
yhat <- predict(boosting2, newdata = combined[32403:48598, -44], n.trees = (10 * i), type = "response")
yhat <- (yhat > thresh)
testerror2[i] <- mean(yhat != combined[32403:48598, 44])
}
plot(testerror2)
#ROC curve - testing
pos2 <- c()
pos2 <- predict(boosting2, newdata = combined[32403:48598, -44], n.trees = 2000, type = "response")
predicts2 <- prediction(pos2, combined[32403:48598, 44])
roc2 <- ROCR::performance(predicts2, measure = "tpr", x.measure = "fpr")
plot(roc2)
abline(0, 1, col = "red")
auc2 <- ROCR::performance(predicts2, measure = "auc")
auc2@y.values## [[1]]
## [1] 0.9026846#Train error of the second model
set.seed(100)
trainerror2 <- c()
thresh <- 0.5
for(i in 1:200){
yhat <- predict(boosting2, newdata = combined[1:32402, -44], n.trees = (10 * i), type = "response")
yhat <- (yhat > thresh)
trainerror2[i] <- mean(yhat != combined[1:32402, 44])
}
plot(trainerror2)
#ROC curve - training
pos2b <- c()
pos2b <- predict(boosting2, newdata = combined[1:32402, -44], n.trees = 2000, type = "response")
predicts2b <- prediction(pos2b, combined[1:32402, 44])
roc2b <- ROCR::performance(predicts2b, measure = "tpr", x.measure = "fpr")
plot(roc2b)
abline(0, 1, col = "red")
auc2b <- ROCR::performance(predicts2b, measure = "auc")
auc2b@y.values## [[1]]
## [1] 0.9032523#Third model
set.seed(100)
boosting3 <- gbm(income ~., data = combined[1:32402, ], distribution = "bernoulli", n.trees = 5000,
interaction.depth = 3)
summary(boosting3)
## var rel.inf
## Married.civ.spouse Married.civ.spouse 38.4653932551
## capital.gain capital.gain 21.5925456394
## education.num education.num 20.6266997102
## age age 5.9262919869
## capital.loss capital.loss 4.9121468429
## hours.per.week hours.per.week 4.1693779643
## Exec.managerial Exec.managerial 2.1015494026
## Prof.specialty Prof.specialty 0.5954335020
## Farming.fishing Farming.fishing 0.5462841653
## Other.service Other.service 0.3328796337
## Wife Wife 0.2756071261
## Self.emp.not.inc Self.emp.not.inc 0.2224774222
## Tech.support Tech.support 0.1327361634
## Male Male 0.0496445933
## Self.emp.inc Self.emp.inc 0.0362639675
## Sales Sales 0.0067688417
## Married.AF.spouse Married.AF.spouse 0.0028144804
## Not.in.family Not.in.family 0.0022786683
## Local.gov Local.gov 0.0012623225
## United.States United.States 0.0009382238
## White White 0.0006060883
## No.gain No.gain 0.0000000000
## Private Private 0.0000000000
## State.gov State.gov 0.0000000000
## Married.spouse.absent Married.spouse.absent 0.0000000000
## Never.married Never.married 0.0000000000
## Separated Separated 0.0000000000
## Widowed Widowed 0.0000000000
## Armed.Forces Armed.Forces 0.0000000000
## Craft.repair Craft.repair 0.0000000000
## Handlers.cleaners Handlers.cleaners 0.0000000000
## Machine.op.inspct Machine.op.inspct 0.0000000000
## Priv.house.serv Priv.house.serv 0.0000000000
## Protective.serv Protective.serv 0.0000000000
## Transport.moving Transport.moving 0.0000000000
## Other.relative Other.relative 0.0000000000
## Own.child Own.child 0.0000000000
## Unmarried Unmarried 0.0000000000
## Asian.Pac.Islander Asian.Pac.Islander 0.0000000000
## Black Black 0.0000000000
## Other Other 0.0000000000
## other_countries other_countries 0.0000000000
## Philippines Philippines 0.0000000000varImp(boosting3, numTrees = 5000)## Overall
## age 39889.279469
## education.num 138836.255637
## capital.gain 145337.268121
## capital.loss 33063.169794
## hours.per.week 28063.666657
## Local.gov 8.496567
## No.gain 0.000000
## Private 0.000000
## Self.emp.inc 244.089143
## Self.emp.not.inc 1497.473309
## State.gov 0.000000
## Married.AF.spouse 18.943987
## Married.civ.spouse 258906.720229
## Married.spouse.absent 0.000000
## Never.married 0.000000
## Separated 0.000000
## Widowed 0.000000
## Armed.Forces 0.000000
## Craft.repair 0.000000
## Exec.managerial 14145.319134
## Farming.fishing 3676.984156
## Handlers.cleaners 0.000000
## Machine.op.inspct 0.000000
## Other.service 2240.579568
## Priv.house.serv 0.000000
## Prof.specialty 4007.803433
## Protective.serv 0.000000
## Sales 45.560398
## Tech.support 893.433859
## Transport.moving 0.000000
## Not.in.family 15.337489
## Other.relative 0.000000
## Own.child 0.000000
## Unmarried 0.000000
## Wife 1855.084039
## Asian.Pac.Islander 0.000000
## Black 0.000000
## Other 0.000000
## White 4.079520
## Male 334.152799
## other_countries 0.000000
## Philippines 0.000000
## United.States 6.315091#Test error of the third model
set.seed(100)
testerror3 <- c()
thresh <- 0.5
for(i in 1:500){
yhat <- predict(boosting3, newdata = combined[32403:48598, -44], n.trees = (10 * i), type = "response")
yhat <- (yhat > thresh)
testerror3[i] <- mean(yhat != combined[32403:48598, 44])
}
plot(testerror3)
#ROC curve - testing
pos3 <- c()
pos3 <- predict(boosting3, newdata = combined[32403:48598, -44], n.trees = 5000, type = "response")
predicts3 <- prediction(pos3, combined[32403:48598, 44])
roc3 <- ROCR::performance(predicts3, measure = "tpr", x.measure = "fpr")
plot(roc3)
abline(0, 1, col = "red")
auc3 <- ROCR::performance(predicts3, measure = "auc")
auc3@y.values## [[1]]
## [1] 0.9086526#Train error of the third model
set.seed(100)
trainerror3 <- c()
thresh <- 0.5
for(i in 1:500){
yhat <- predict(boosting3, newdata = combined[1:32402, -44], n.trees = (10 * i), type = "response")
yhat <- (yhat > thresh)
trainerror3[i] <- mean(yhat != combined[1:32402, 44])
}
plot(trainerror3)
#ROC curve - training
pos3b <- c()
pos3b <- predict(boosting3, newdata = combined[1:32402, -44], n.trees = 5000, type = "response")
predicts3b <- prediction(pos3b, combined[1:32402, 44])
roc3b <- ROCR::performance(predicts3b, measure = "tpr", x.measure = "fpr")
plot(roc3b)
abline(0, 1, col = "red")
auc3b <- ROCR::performance(predicts3b, measure = "auc")
auc3b@y.values## [[1]]
## [1] 0.9100084#Fourth model
set.seed(100)
boosting4 <- gbm(income ~., data = combined[1:32402, ], distribution = "bernoulli", n.trees = 5000,
interaction.depth = 3, shrinkage = 0.2)
summary(boosting4)
## var rel.inf
## Married.civ.spouse Married.civ.spouse 18.026448560
## age age 16.972500853
## education.num education.num 14.284120321
## hours.per.week hours.per.week 12.663868474
## capital.gain capital.gain 9.733799355
## capital.loss capital.loss 4.043940259
## Exec.managerial Exec.managerial 2.339896499
## Wife Wife 2.312137098
## Self.emp.inc Self.emp.inc 1.477410233
## Sales Sales 1.421837748
## Self.emp.not.inc Self.emp.not.inc 1.363968271
## Prof.specialty Prof.specialty 1.270072643
## Craft.repair Craft.repair 1.217346462
## Private Private 0.979140053
## Local.gov Local.gov 0.962075427
## Tech.support Tech.support 0.956414372
## Transport.moving Transport.moving 0.929744557
## Protective.serv Protective.serv 0.906260989
## Married.AF.spouse Married.AF.spouse 0.847841879
## Male Male 0.735702554
## State.gov State.gov 0.701580425
## Farming.fishing Farming.fishing 0.614732088
## Not.in.family Not.in.family 0.542609381
## White White 0.528052568
## other_countries other_countries 0.515926852
## Asian.Pac.Islander Asian.Pac.Islander 0.511077925
## United.States United.States 0.447415310
## Machine.op.inspct Machine.op.inspct 0.424901024
## Never.married Never.married 0.387397190
## Other.service Other.service 0.383110797
## Black Black 0.366741057
## Philippines Philippines 0.223151705
## Unmarried Unmarried 0.220840811
## Widowed Widowed 0.168091780
## Handlers.cleaners Handlers.cleaners 0.138868006
## Married.spouse.absent Married.spouse.absent 0.137691429
## Separated Separated 0.100353469
## Other Other 0.049692624
## Other.relative Other.relative 0.040436779
## Own.child Own.child 0.038139196
## No.gain No.gain 0.007916710
## Priv.house.serv Priv.house.serv 0.006746267
## Armed.Forces Armed.Forces 0.000000000varImp(boosting4, numTrees = 5000)## Overall
## age 1625.9627048
## education.num 1368.4163056
## capital.gain 932.4963283
## capital.loss 387.4087914
## hours.per.week 1213.1964533
## Local.gov 92.1666628
## No.gain 0.7584195
## Private 93.8014511
## Self.emp.inc 141.5356499
## Self.emp.not.inc 130.6679292
## State.gov 67.2112858
## Married.AF.spouse 81.2231083
## Married.civ.spouse 1726.9307165
## Married.spouse.absent 13.1908156
## Never.married 37.1125852
## Separated 9.6138453
## Widowed 16.1031641
## Armed.Forces 0.0000000
## Craft.repair 116.6215847
## Exec.managerial 224.1616879
## Farming.fishing 58.8912299
## Handlers.cleaners 13.3035314
## Machine.op.inspct 40.7054461
## Other.service 36.7019494
## Priv.house.serv 0.6462912
## Prof.specialty 121.6727439
## Protective.serv 86.8196491
## Sales 136.2118152
## Tech.support 91.6243347
## Transport.moving 89.0693709
## Not.in.family 51.9818867
## Other.relative 3.8738366
## Own.child 3.6537285
## Unmarried 21.1565123
## Wife 221.5023421
## Asian.Pac.Islander 48.9611786
## Black 35.1337311
## Other 4.7605449
## White 50.5873465
## Male 70.4801800
## other_countries 49.4257050
## Philippines 21.3778955
## United.States 42.8623109#Test error of the fourth model
set.seed(100)
testerror4 <- c()
thresh <- 0.5
for(i in 1:500){
yhat <- predict(boosting4, newdata = combined[32403:48598, -44], n.trees = (10 * i), type = "response")
yhat <- (yhat > thresh)
testerror4[i] <- mean(yhat != combined[32403:48598, 44])
}
plot(testerror4)
#ROC curve - testing
pos4 <- c()
pos4 <- predict(boosting4, newdata = combined[32403:48598, -44], n.trees = 150, type = "response")
predicts4 <- prediction(pos4, combined[32403:48598, 44])
roc4 <- ROCR::performance(predicts4, measure = "tpr", x.measure = "fpr")
plot(roc4)
abline(0, 1, col = "red")
auc4 <- ROCR::performance(predicts4, measure = "auc")
auc4@y.values## [[1]]
## [1] 0.9209653#Train error of the fourth model
set.seed(100)
trainerror4 <- c()
thresh <- 0.5
for(i in 1:500){
yhat <- predict(boosting4, newdata = combined[1:32402, -44], n.trees = (10 * i), type = "response")
yhat <- (yhat > thresh)
trainerror4[i] <- mean(yhat != combined[1:32402, 44])
}
plot(trainerror4)
#ROC curve - training
pos4b <- c()
pos4b <- predict(boosting4, newdata = combined[1:32402, -44], n.trees = 5000, type = "response")
predicts4b <- prediction(pos4b, combined[1:32402, 44])
roc4b <- ROCR::performance(predicts4b, measure = "tpr", x.measure = "fpr")
plot(roc4b)
abline(0, 1, col = "red")
auc4b <- ROCR::performance(predicts4b, measure = "auc")
auc4b@y.values## [[1]]
## [1] 0.9556233#Fifth model
set.seed(100)
boosting5 <- gbm(income ~., data = combined[1:32402, ], distribution = "bernoulli", n.trees = 5000,
interaction.depth = 3, shrinkage = 0.1)
summary(boosting5)
## var rel.inf
## Married.civ.spouse Married.civ.spouse 21.749111849
## education.num education.num 15.520807408
## age age 13.841105494
## capital.gain capital.gain 13.128327788
## hours.per.week hours.per.week 10.656667597
## capital.loss capital.loss 5.072048205
## Exec.managerial Exec.managerial 2.049942975
## Wife Wife 1.926472668
## Prof.specialty Prof.specialty 1.288391194
## Self.emp.not.inc Self.emp.not.inc 1.139338856
## Self.emp.inc Self.emp.inc 1.033026573
## Sales Sales 1.017303679
## Private Private 0.863058329
## Married.AF.spouse Married.AF.spouse 0.823091712
## Tech.support Tech.support 0.774572610
## Craft.repair Craft.repair 0.742961349
## Local.gov Local.gov 0.739759906
## Protective.serv Protective.serv 0.687410865
## Transport.moving Transport.moving 0.670745956
## Male Male 0.641166610
## Farming.fishing Farming.fishing 0.618918294
## State.gov State.gov 0.567625482
## Not.in.family Not.in.family 0.463684678
## White White 0.435534037
## Asian.Pac.Islander Asian.Pac.Islander 0.430976991
## Other.service Other.service 0.422750642
## other_countries other_countries 0.353529212
## Machine.op.inspct Machine.op.inspct 0.329448541
## United.States United.States 0.307138100
## Never.married Never.married 0.282278336
## Black Black 0.268746977
## Unmarried Unmarried 0.228712965
## Philippines Philippines 0.222233474
## Widowed Widowed 0.167860893
## Handlers.cleaners Handlers.cleaners 0.156685930
## Married.spouse.absent Married.spouse.absent 0.106604852
## Separated Separated 0.106553495
## Own.child Own.child 0.063757082
## Other Other 0.053894161
## Other.relative Other.relative 0.036158013
## No.gain No.gain 0.007362428
## Priv.house.serv Priv.house.serv 0.004233794
## Armed.Forces Armed.Forces 0.000000000varImp(boosting5, numTrees = 5000)## Overall
## age 1885.5216440
## education.num 2114.3411062
## capital.gain 1788.4226230
## capital.loss 690.9460140
## hours.per.week 1451.7176692
## Local.gov 100.7747043
## No.gain 1.0029558
## Private 117.5711839
## Self.emp.inc 140.7253173
## Self.emp.not.inc 155.2078390
## State.gov 77.3254804
## Married.AF.spouse 112.1266822
## Married.civ.spouse 2962.7995501
## Married.spouse.absent 14.5223773
## Never.married 38.4537139
## Separated 14.5153811
## Widowed 22.8670569
## Armed.Forces 0.0000000
## Craft.repair 101.2108249
## Exec.managerial 279.2560067
## Farming.fishing 84.3129070
## Handlers.cleaners 21.3447339
## Machine.op.inspct 44.8795333
## Other.service 57.5897270
## Priv.house.serv 0.5767538
## Prof.specialty 175.5126773
## Protective.serv 93.6433918
## Sales 138.5834467
## Tech.support 105.5171079
## Transport.moving 91.3731940
## Not.in.family 63.1660164
## Other.relative 4.9256698
## Own.child 8.6853870
## Unmarried 31.1567054
## Wife 262.4361121
## Asian.Pac.Islander 58.7103714
## Black 36.6103879
## Other 7.3417984
## White 59.3311606
## Male 87.3437111
## other_countries 48.1599524
## Philippines 30.2740288
## United.States 41.8402660#Test error of the fifth model
set.seed(100)
testerror5 <- c()
thresh <- 0.5
for(i in 1:500){
yhat <- predict(boosting5, newdata = combined[32403:48598, -44], n.trees = (10 * i), type = "response")
yhat <- (yhat > thresh)
testerror5[i] <- mean(yhat != combined[32403:48598, 44])
}
plot(testerror5)
#ROC curve - testing
pos5 <- c()
pos5 <- predict(boosting5, newdata = combined[32403:48598, -44], n.trees = 800, type = "response")
predicts5 <- prediction(pos5, combined[32403:48598, 44])
roc5 <- ROCR::performance(predicts5, measure = "tpr", x.measure = "fpr")
plot(roc5)
abline(0, 1, col = "red")
auc5 <- ROCR::performance(predicts5, measure = "auc")
auc5@y.values## [[1]]
## [1] 0.9231948#Train error of the fifth model
set.seed(100)
trainerror5 <- c()
thresh <- 0.5
for(i in 1:500){
yhat <- predict(boosting5, newdata = combined[1:32402, -44], n.trees = (10 * i), type = "response")
yhat <- (yhat > thresh)
trainerror5[i] <- mean(yhat != combined[1:32402, 44])
}
plot(trainerror5)
#ROC curve - training
pos5b <- c()
pos5b <- predict(boosting5, newdata = combined[1:32402, -44], n.trees = 5000, type = "response")
predicts5b <- prediction(pos5b, combined[1:32402, 44])
roc5b <- ROCR::performance(predicts5b, measure = "tpr", x.measure = "fpr")
plot(roc5b)
abline(0, 1, col = "red")
auc5b <- ROCR::performance(predicts5b, measure = "auc")
auc5b@y.values## [[1]]
## [1] 0.9496323#ROC and AUC combined testing
plot(roc1, type = "l", col = "red")
par(new = TRUE)
plot(roc2, type = "l", col = "green")
par(new = TRUE)
plot(roc3, type = "l", col = "blue")
par(new = TRUE)
plot(roc4, type = "l", col = "black")
par(new = TRUE)
plot(roc5, type = "l", col = "yellow",
main = "model1: red, model2: green, model3: blue, model4: black, model5: yellow")
paste("AUC for model 1 is", round(auc1@y.values[[1]], 5))## [1] "AUC for model 1 is 0.91392"paste("AUC for model 2 is", round(auc2@y.values[[1]], 5))## [1] "AUC for model 2 is 0.90268"paste("AUC for model 3 is", round(auc3@y.values[[1]], 5))## [1] "AUC for model 3 is 0.90865"paste("AUC for model 4 is", round(auc4@y.values[[1]], 5))## [1] "AUC for model 4 is 0.92097"paste("AUC for model 5 is", round(auc5@y.values[[1]], 5))## [1] "AUC for model 5 is 0.92319"#ROC and AUC combined training
plot(roc1b, type = "l", col = "red")
par(new = TRUE)
plot(roc2b, type = "l", col = "green")
par(new = TRUE)
plot(roc3b, type = "l", col = "blue")
par(new = TRUE)
plot(roc4b, type = "l", col = "black")
par(new = TRUE)
plot(roc5b, type = "l", col = "yellow",
main = "model1: red, model2: green, model3: blue, model4: black, model5: yellow")
paste("AUC for model 1 is", round(auc1b@y.values[[1]], 5))## [1] "AUC for model 1 is 0.91614"paste("AUC for model 2 is", round(auc2b@y.values[[1]], 5))## [1] "AUC for model 2 is 0.90325"paste("AUC for model 3 is", round(auc3b@y.values[[1]], 5))## [1] "AUC for model 3 is 0.91001"paste("AUC for model 4 is", round(auc4b@y.values[[1]], 5))## [1] "AUC for model 4 is 0.95562"paste("AUC for model 5 is", round(auc5b@y.values[[1]], 5))## [1] "AUC for model 5 is 0.94963"#Partial dependence plots
variables <- c("Married.civ.spouse", "education.num", "age", "capital.gain",
"hours.per.week", "capital.loss")
par(mfrow = c(2, 3))
for(i in 1:6){
plot(boosting1, i = variables[i])
}
for(i in 1:6){
plot(boosting2, i = variables[i])
}
for(i in 1:6){
plot(boosting3, i = variables[i])
}
for(i in 1:6){
plot(boosting4, i = variables[i])
}
for(i in 1:6){
plot(boosting5, i = variables[i])
}
#Check imbalance
table(combined$income)##
## 0 1
## 37155 1144311443 / 48598 #23.5%## [1] 0.235462437155 / 48598 #76.5%## [1] 0.7645376\(\\\)
\(\\\)
Train function
set.seed(100)
trctrl <- trainControl(method = "repeatedcv", number = 10, repeats = 5)
boostingtrain <- caret::train(income~., data = newtrain2, method = "gbm", metric = "Accuracy", trControl = trctrl)## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0580 nan 0.1000 0.0185
## 2 1.0284 nan 0.1000 0.0149
## 3 1.0038 nan 0.1000 0.0122
## 4 0.9833 nan 0.1000 0.0100
## 5 0.9639 nan 0.1000 0.0097
## 6 0.9472 nan 0.1000 0.0080
## 7 0.9302 nan 0.1000 0.0083
## 8 0.9174 nan 0.1000 0.0062
## 9 0.9075 nan 0.1000 0.0049
## 10 0.8949 nan 0.1000 0.0063
## 20 0.8154 nan 0.1000 0.0023
## 40 0.7375 nan 0.1000 0.0012
## 60 0.6956 nan 0.1000 0.0010
## 80 0.6715 nan 0.1000 0.0006
## 100 0.6560 nan 0.1000 0.0002
## 120 0.6452 nan 0.1000 0.0001
## 140 0.6367 nan 0.1000 0.0003
## 150 0.6334 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0438 nan 0.1000 0.0260
## 2 1.0038 nan 0.1000 0.0197
## 3 0.9699 nan 0.1000 0.0165
## 4 0.9434 nan 0.1000 0.0132
## 5 0.9141 nan 0.1000 0.0146
## 6 0.8911 nan 0.1000 0.0116
## 7 0.8742 nan 0.1000 0.0082
## 8 0.8586 nan 0.1000 0.0080
## 9 0.8429 nan 0.1000 0.0079
## 10 0.8321 nan 0.1000 0.0054
## 20 0.7506 nan 0.1000 0.0022
## 40 0.6788 nan 0.1000 0.0008
## 60 0.6486 nan 0.1000 0.0004
## 80 0.6321 nan 0.1000 0.0002
## 100 0.6210 nan 0.1000 0.0002
## 120 0.6127 nan 0.1000 0.0001
## 140 0.6062 nan 0.1000 0.0001
## 150 0.6032 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0367 nan 0.1000 0.0296
## 2 0.9886 nan 0.1000 0.0236
## 3 0.9516 nan 0.1000 0.0183
## 4 0.9208 nan 0.1000 0.0154
## 5 0.8950 nan 0.1000 0.0129
## 6 0.8698 nan 0.1000 0.0124
## 7 0.8497 nan 0.1000 0.0100
## 8 0.8337 nan 0.1000 0.0080
## 9 0.8169 nan 0.1000 0.0082
## 10 0.8030 nan 0.1000 0.0070
## 20 0.7199 nan 0.1000 0.0027
## 40 0.6546 nan 0.1000 0.0010
## 60 0.6279 nan 0.1000 0.0002
## 80 0.6132 nan 0.1000 0.0001
## 100 0.6013 nan 0.1000 0.0001
## 120 0.5948 nan 0.1000 0.0002
## 140 0.5893 nan 0.1000 0.0001
## 150 0.5867 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0580 nan 0.1000 0.0187
## 2 1.0279 nan 0.1000 0.0150
## 3 1.0036 nan 0.1000 0.0122
## 4 0.9832 nan 0.1000 0.0104
## 5 0.9636 nan 0.1000 0.0098
## 6 0.9491 nan 0.1000 0.0070
## 7 0.9328 nan 0.1000 0.0083
## 8 0.9173 nan 0.1000 0.0078
## 9 0.9072 nan 0.1000 0.0048
## 10 0.8946 nan 0.1000 0.0062
## 20 0.8117 nan 0.1000 0.0033
## 40 0.7370 nan 0.1000 0.0010
## 60 0.6943 nan 0.1000 0.0007
## 80 0.6707 nan 0.1000 0.0004
## 100 0.6552 nan 0.1000 0.0003
## 120 0.6448 nan 0.1000 0.0001
## 140 0.6365 nan 0.1000 0.0000
## 150 0.6329 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0431 nan 0.1000 0.0257
## 2 1.0030 nan 0.1000 0.0200
## 3 0.9693 nan 0.1000 0.0170
## 4 0.9415 nan 0.1000 0.0137
## 5 0.9126 nan 0.1000 0.0144
## 6 0.8891 nan 0.1000 0.0116
## 7 0.8715 nan 0.1000 0.0090
## 8 0.8541 nan 0.1000 0.0087
## 9 0.8392 nan 0.1000 0.0076
## 10 0.8281 nan 0.1000 0.0056
## 20 0.7486 nan 0.1000 0.0027
## 40 0.6755 nan 0.1000 0.0010
## 60 0.6468 nan 0.1000 0.0005
## 80 0.6319 nan 0.1000 0.0003
## 100 0.6195 nan 0.1000 0.0003
## 120 0.6115 nan 0.1000 0.0003
## 140 0.6053 nan 0.1000 0.0001
## 150 0.6023 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0359 nan 0.1000 0.0296
## 2 0.9895 nan 0.1000 0.0236
## 3 0.9521 nan 0.1000 0.0185
## 4 0.9194 nan 0.1000 0.0157
## 5 0.8942 nan 0.1000 0.0124
## 6 0.8710 nan 0.1000 0.0113
## 7 0.8490 nan 0.1000 0.0109
## 8 0.8308 nan 0.1000 0.0091
## 9 0.8155 nan 0.1000 0.0077
## 10 0.8019 nan 0.1000 0.0067
## 20 0.7189 nan 0.1000 0.0026
## 40 0.6532 nan 0.1000 0.0008
## 60 0.6278 nan 0.1000 0.0002
## 80 0.6123 nan 0.1000 0.0004
## 100 0.6011 nan 0.1000 0.0001
## 120 0.5929 nan 0.1000 0.0001
## 140 0.5870 nan 0.1000 0.0001
## 150 0.5844 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0577 nan 0.1000 0.0186
## 2 1.0270 nan 0.1000 0.0149
## 3 1.0030 nan 0.1000 0.0121
## 4 0.9828 nan 0.1000 0.0097
## 5 0.9629 nan 0.1000 0.0096
## 6 0.9456 nan 0.1000 0.0084
## 7 0.9296 nan 0.1000 0.0077
## 8 0.9168 nan 0.1000 0.0067
## 9 0.9039 nan 0.1000 0.0064
## 10 0.8914 nan 0.1000 0.0062
## 20 0.8145 nan 0.1000 0.0023
## 40 0.7356 nan 0.1000 0.0014
## 60 0.6942 nan 0.1000 0.0010
## 80 0.6687 nan 0.1000 0.0005
## 100 0.6541 nan 0.1000 0.0002
## 120 0.6431 nan 0.1000 0.0001
## 140 0.6353 nan 0.1000 0.0003
## 150 0.6322 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0433 nan 0.1000 0.0257
## 2 1.0031 nan 0.1000 0.0197
## 3 0.9700 nan 0.1000 0.0163
## 4 0.9425 nan 0.1000 0.0136
## 5 0.9135 nan 0.1000 0.0147
## 6 0.8906 nan 0.1000 0.0115
## 7 0.8709 nan 0.1000 0.0097
## 8 0.8562 nan 0.1000 0.0074
## 9 0.8425 nan 0.1000 0.0067
## 10 0.8308 nan 0.1000 0.0056
## 20 0.7479 nan 0.1000 0.0035
## 40 0.6767 nan 0.1000 0.0012
## 60 0.6450 nan 0.1000 0.0005
## 80 0.6295 nan 0.1000 0.0003
## 100 0.6194 nan 0.1000 0.0001
## 120 0.6106 nan 0.1000 0.0001
## 140 0.6040 nan 0.1000 0.0001
## 150 0.6014 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0362 nan 0.1000 0.0293
## 2 0.9906 nan 0.1000 0.0227
## 3 0.9517 nan 0.1000 0.0202
## 4 0.9212 nan 0.1000 0.0154
## 5 0.8957 nan 0.1000 0.0128
## 6 0.8732 nan 0.1000 0.0111
## 7 0.8513 nan 0.1000 0.0110
## 8 0.8333 nan 0.1000 0.0091
## 9 0.8173 nan 0.1000 0.0076
## 10 0.8051 nan 0.1000 0.0059
## 20 0.7203 nan 0.1000 0.0023
## 40 0.6532 nan 0.1000 0.0010
## 60 0.6264 nan 0.1000 0.0003
## 80 0.6106 nan 0.1000 0.0002
## 100 0.5997 nan 0.1000 0.0001
## 120 0.5906 nan 0.1000 0.0003
## 140 0.5850 nan 0.1000 0.0000
## 150 0.5827 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0592 nan 0.1000 0.0186
## 2 1.0298 nan 0.1000 0.0150
## 3 1.0052 nan 0.1000 0.0122
## 4 0.9850 nan 0.1000 0.0096
## 5 0.9653 nan 0.1000 0.0098
## 6 0.9515 nan 0.1000 0.0069
## 7 0.9350 nan 0.1000 0.0084
## 8 0.9193 nan 0.1000 0.0078
## 9 0.9061 nan 0.1000 0.0064
## 10 0.8932 nan 0.1000 0.0065
## 20 0.8137 nan 0.1000 0.0032
## 40 0.7373 nan 0.1000 0.0012
## 60 0.6957 nan 0.1000 0.0005
## 80 0.6710 nan 0.1000 0.0002
## 100 0.6550 nan 0.1000 0.0002
## 120 0.6428 nan 0.1000 0.0001
## 140 0.6359 nan 0.1000 0.0001
## 150 0.6329 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0436 nan 0.1000 0.0257
## 2 1.0042 nan 0.1000 0.0193
## 3 0.9717 nan 0.1000 0.0160
## 4 0.9436 nan 0.1000 0.0143
## 5 0.9146 nan 0.1000 0.0143
## 6 0.8914 nan 0.1000 0.0116
## 7 0.8756 nan 0.1000 0.0081
## 8 0.8602 nan 0.1000 0.0077
## 9 0.8444 nan 0.1000 0.0082
## 10 0.8330 nan 0.1000 0.0056
## 20 0.7507 nan 0.1000 0.0028
## 40 0.6780 nan 0.1000 0.0010
## 60 0.6461 nan 0.1000 0.0004
## 80 0.6305 nan 0.1000 0.0001
## 100 0.6197 nan 0.1000 0.0002
## 120 0.6113 nan 0.1000 0.0002
## 140 0.6053 nan 0.1000 -0.0000
## 150 0.6026 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0358 nan 0.1000 0.0294
## 2 0.9889 nan 0.1000 0.0229
## 3 0.9511 nan 0.1000 0.0187
## 4 0.9214 nan 0.1000 0.0150
## 5 0.8956 nan 0.1000 0.0126
## 6 0.8706 nan 0.1000 0.0125
## 7 0.8491 nan 0.1000 0.0107
## 8 0.8315 nan 0.1000 0.0089
## 9 0.8155 nan 0.1000 0.0077
## 10 0.8008 nan 0.1000 0.0071
## 20 0.7214 nan 0.1000 0.0030
## 40 0.6546 nan 0.1000 0.0007
## 60 0.6268 nan 0.1000 0.0007
## 80 0.6112 nan 0.1000 0.0002
## 100 0.6013 nan 0.1000 0.0000
## 120 0.5946 nan 0.1000 0.0001
## 140 0.5874 nan 0.1000 -0.0000
## 150 0.5844 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0576 nan 0.1000 0.0187
## 2 1.0276 nan 0.1000 0.0150
## 3 1.0031 nan 0.1000 0.0122
## 4 0.9825 nan 0.1000 0.0102
## 5 0.9649 nan 0.1000 0.0086
## 6 0.9459 nan 0.1000 0.0096
## 7 0.9324 nan 0.1000 0.0069
## 8 0.9166 nan 0.1000 0.0078
## 9 0.9038 nan 0.1000 0.0063
## 10 0.8908 nan 0.1000 0.0064
## 20 0.8132 nan 0.1000 0.0022
## 40 0.7344 nan 0.1000 0.0012
## 60 0.6931 nan 0.1000 0.0010
## 80 0.6686 nan 0.1000 0.0006
## 100 0.6537 nan 0.1000 0.0001
## 120 0.6420 nan 0.1000 0.0002
## 140 0.6340 nan 0.1000 0.0001
## 150 0.6308 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0429 nan 0.1000 0.0259
## 2 1.0035 nan 0.1000 0.0195
## 3 0.9707 nan 0.1000 0.0163
## 4 0.9350 nan 0.1000 0.0179
## 5 0.9069 nan 0.1000 0.0142
## 6 0.8845 nan 0.1000 0.0111
## 7 0.8678 nan 0.1000 0.0085
## 8 0.8520 nan 0.1000 0.0078
## 9 0.8362 nan 0.1000 0.0076
## 10 0.8251 nan 0.1000 0.0054
## 20 0.7463 nan 0.1000 0.0025
## 40 0.6747 nan 0.1000 0.0009
## 60 0.6449 nan 0.1000 0.0003
## 80 0.6289 nan 0.1000 0.0003
## 100 0.6174 nan 0.1000 0.0003
## 120 0.6096 nan 0.1000 0.0000
## 140 0.6039 nan 0.1000 0.0001
## 150 0.6013 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0349 nan 0.1000 0.0302
## 2 0.9895 nan 0.1000 0.0226
## 3 0.9526 nan 0.1000 0.0180
## 4 0.9206 nan 0.1000 0.0162
## 5 0.8944 nan 0.1000 0.0132
## 6 0.8693 nan 0.1000 0.0127
## 7 0.8500 nan 0.1000 0.0097
## 8 0.8300 nan 0.1000 0.0098
## 9 0.8164 nan 0.1000 0.0066
## 10 0.8019 nan 0.1000 0.0074
## 20 0.7178 nan 0.1000 0.0025
## 40 0.6516 nan 0.1000 0.0011
## 60 0.6248 nan 0.1000 0.0003
## 80 0.6090 nan 0.1000 0.0001
## 100 0.6007 nan 0.1000 0.0001
## 120 0.5930 nan 0.1000 0.0001
## 140 0.5872 nan 0.1000 0.0000
## 150 0.5854 nan 0.1000 -0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0585 nan 0.1000 0.0185
## 2 1.0284 nan 0.1000 0.0149
## 3 1.0044 nan 0.1000 0.0121
## 4 0.9838 nan 0.1000 0.0100
## 5 0.9641 nan 0.1000 0.0097
## 6 0.9469 nan 0.1000 0.0084
## 7 0.9340 nan 0.1000 0.0065
## 8 0.9183 nan 0.1000 0.0077
## 9 0.9056 nan 0.1000 0.0063
## 10 0.8959 nan 0.1000 0.0050
## 20 0.8168 nan 0.1000 0.0023
## 40 0.7369 nan 0.1000 0.0011
## 60 0.6944 nan 0.1000 0.0011
## 80 0.6713 nan 0.1000 0.0003
## 100 0.6564 nan 0.1000 0.0005
## 120 0.6449 nan 0.1000 0.0002
## 140 0.6367 nan 0.1000 0.0002
## 150 0.6336 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0446 nan 0.1000 0.0258
## 2 1.0054 nan 0.1000 0.0199
## 3 0.9733 nan 0.1000 0.0157
## 4 0.9378 nan 0.1000 0.0182
## 5 0.9105 nan 0.1000 0.0135
## 6 0.8884 nan 0.1000 0.0112
## 7 0.8701 nan 0.1000 0.0093
## 8 0.8562 nan 0.1000 0.0069
## 9 0.8420 nan 0.1000 0.0071
## 10 0.8314 nan 0.1000 0.0053
## 20 0.7477 nan 0.1000 0.0037
## 40 0.6770 nan 0.1000 0.0010
## 60 0.6477 nan 0.1000 0.0004
## 80 0.6324 nan 0.1000 0.0002
## 100 0.6205 nan 0.1000 0.0003
## 120 0.6122 nan 0.1000 0.0001
## 140 0.6067 nan 0.1000 0.0001
## 150 0.6040 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0359 nan 0.1000 0.0295
## 2 0.9897 nan 0.1000 0.0225
## 3 0.9522 nan 0.1000 0.0184
## 4 0.9207 nan 0.1000 0.0159
## 5 0.8954 nan 0.1000 0.0128
## 6 0.8698 nan 0.1000 0.0126
## 7 0.8508 nan 0.1000 0.0095
## 8 0.8325 nan 0.1000 0.0090
## 9 0.8192 nan 0.1000 0.0066
## 10 0.8046 nan 0.1000 0.0071
## 20 0.7202 nan 0.1000 0.0027
## 40 0.6540 nan 0.1000 0.0009
## 60 0.6274 nan 0.1000 0.0007
## 80 0.6106 nan 0.1000 0.0006
## 100 0.6004 nan 0.1000 0.0001
## 120 0.5948 nan 0.1000 0.0002
## 140 0.5889 nan 0.1000 0.0000
## 150 0.5871 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0585 nan 0.1000 0.0186
## 2 1.0281 nan 0.1000 0.0150
## 3 1.0031 nan 0.1000 0.0122
## 4 0.9828 nan 0.1000 0.0101
## 5 0.9632 nan 0.1000 0.0097
## 6 0.9455 nan 0.1000 0.0087
## 7 0.9324 nan 0.1000 0.0065
## 8 0.9164 nan 0.1000 0.0077
## 9 0.9034 nan 0.1000 0.0065
## 10 0.8940 nan 0.1000 0.0047
## 20 0.8128 nan 0.1000 0.0023
## 40 0.7335 nan 0.1000 0.0013
## 60 0.6927 nan 0.1000 0.0007
## 80 0.6686 nan 0.1000 0.0006
## 100 0.6529 nan 0.1000 0.0004
## 120 0.6424 nan 0.1000 0.0002
## 140 0.6347 nan 0.1000 0.0003
## 150 0.6319 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0423 nan 0.1000 0.0261
## 2 1.0025 nan 0.1000 0.0200
## 3 0.9693 nan 0.1000 0.0165
## 4 0.9426 nan 0.1000 0.0131
## 5 0.9136 nan 0.1000 0.0145
## 6 0.8932 nan 0.1000 0.0097
## 7 0.8724 nan 0.1000 0.0105
## 8 0.8561 nan 0.1000 0.0081
## 9 0.8425 nan 0.1000 0.0067
## 10 0.8292 nan 0.1000 0.0066
## 20 0.7465 nan 0.1000 0.0028
## 40 0.6750 nan 0.1000 0.0012
## 60 0.6458 nan 0.1000 0.0004
## 80 0.6298 nan 0.1000 0.0004
## 100 0.6182 nan 0.1000 0.0001
## 120 0.6098 nan 0.1000 0.0001
## 140 0.6043 nan 0.1000 0.0001
## 150 0.6015 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0353 nan 0.1000 0.0298
## 2 0.9874 nan 0.1000 0.0236
## 3 0.9512 nan 0.1000 0.0184
## 4 0.9188 nan 0.1000 0.0161
## 5 0.8936 nan 0.1000 0.0126
## 6 0.8708 nan 0.1000 0.0115
## 7 0.8492 nan 0.1000 0.0109
## 8 0.8310 nan 0.1000 0.0091
## 9 0.8173 nan 0.1000 0.0064
## 10 0.8047 nan 0.1000 0.0059
## 20 0.7172 nan 0.1000 0.0028
## 40 0.6512 nan 0.1000 0.0008
## 60 0.6241 nan 0.1000 0.0003
## 80 0.6086 nan 0.1000 0.0002
## 100 0.5981 nan 0.1000 0.0001
## 120 0.5908 nan 0.1000 0.0000
## 140 0.5852 nan 0.1000 -0.0000
## 150 0.5821 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0575 nan 0.1000 0.0187
## 2 1.0272 nan 0.1000 0.0150
## 3 1.0024 nan 0.1000 0.0122
## 4 0.9822 nan 0.1000 0.0105
## 5 0.9626 nan 0.1000 0.0098
## 6 0.9460 nan 0.1000 0.0086
## 7 0.9326 nan 0.1000 0.0065
## 8 0.9172 nan 0.1000 0.0078
## 9 0.9071 nan 0.1000 0.0049
## 10 0.8950 nan 0.1000 0.0063
## 20 0.8139 nan 0.1000 0.0035
## 40 0.7337 nan 0.1000 0.0013
## 60 0.6914 nan 0.1000 0.0005
## 80 0.6682 nan 0.1000 0.0003
## 100 0.6524 nan 0.1000 0.0003
## 120 0.6411 nan 0.1000 0.0001
## 140 0.6333 nan 0.1000 0.0000
## 150 0.6299 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0430 nan 0.1000 0.0259
## 2 1.0030 nan 0.1000 0.0199
## 3 0.9696 nan 0.1000 0.0169
## 4 0.9430 nan 0.1000 0.0135
## 5 0.9136 nan 0.1000 0.0147
## 6 0.8898 nan 0.1000 0.0117
## 7 0.8736 nan 0.1000 0.0078
## 8 0.8557 nan 0.1000 0.0091
## 9 0.8404 nan 0.1000 0.0077
## 10 0.8298 nan 0.1000 0.0054
## 20 0.7470 nan 0.1000 0.0028
## 40 0.6753 nan 0.1000 0.0013
## 60 0.6450 nan 0.1000 0.0003
## 80 0.6280 nan 0.1000 0.0002
## 100 0.6180 nan 0.1000 0.0001
## 120 0.6085 nan 0.1000 0.0001
## 140 0.6018 nan 0.1000 0.0000
## 150 0.5996 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0352 nan 0.1000 0.0296
## 2 0.9878 nan 0.1000 0.0240
## 3 0.9509 nan 0.1000 0.0184
## 4 0.9194 nan 0.1000 0.0158
## 5 0.8918 nan 0.1000 0.0134
## 6 0.8694 nan 0.1000 0.0109
## 7 0.8477 nan 0.1000 0.0110
## 8 0.8294 nan 0.1000 0.0091
## 9 0.8138 nan 0.1000 0.0079
## 10 0.8018 nan 0.1000 0.0057
## 20 0.7190 nan 0.1000 0.0028
## 40 0.6512 nan 0.1000 0.0012
## 60 0.6243 nan 0.1000 0.0005
## 80 0.6076 nan 0.1000 0.0004
## 100 0.5968 nan 0.1000 0.0001
## 120 0.5889 nan 0.1000 0.0001
## 140 0.5834 nan 0.1000 0.0002
## 150 0.5817 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0581 nan 0.1000 0.0186
## 2 1.0282 nan 0.1000 0.0150
## 3 1.0040 nan 0.1000 0.0122
## 4 0.9841 nan 0.1000 0.0103
## 5 0.9644 nan 0.1000 0.0098
## 6 0.9474 nan 0.1000 0.0083
## 7 0.9342 nan 0.1000 0.0064
## 8 0.9184 nan 0.1000 0.0078
## 9 0.9084 nan 0.1000 0.0048
## 10 0.8962 nan 0.1000 0.0061
## 20 0.8163 nan 0.1000 0.0021
## 40 0.7363 nan 0.1000 0.0010
## 60 0.6969 nan 0.1000 0.0007
## 80 0.6712 nan 0.1000 0.0003
## 100 0.6562 nan 0.1000 0.0002
## 120 0.6452 nan 0.1000 0.0002
## 140 0.6368 nan 0.1000 0.0002
## 150 0.6339 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0438 nan 0.1000 0.0257
## 2 1.0041 nan 0.1000 0.0199
## 3 0.9707 nan 0.1000 0.0170
## 4 0.9429 nan 0.1000 0.0135
## 5 0.9144 nan 0.1000 0.0142
## 6 0.8909 nan 0.1000 0.0118
## 7 0.8714 nan 0.1000 0.0097
## 8 0.8559 nan 0.1000 0.0079
## 9 0.8424 nan 0.1000 0.0066
## 10 0.8310 nan 0.1000 0.0058
## 20 0.7501 nan 0.1000 0.0026
## 40 0.6785 nan 0.1000 0.0012
## 60 0.6480 nan 0.1000 0.0008
## 80 0.6321 nan 0.1000 0.0003
## 100 0.6207 nan 0.1000 0.0001
## 120 0.6116 nan 0.1000 0.0002
## 140 0.6055 nan 0.1000 0.0001
## 150 0.6028 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0369 nan 0.1000 0.0297
## 2 0.9907 nan 0.1000 0.0226
## 3 0.9542 nan 0.1000 0.0182
## 4 0.9221 nan 0.1000 0.0163
## 5 0.8961 nan 0.1000 0.0130
## 6 0.8735 nan 0.1000 0.0113
## 7 0.8526 nan 0.1000 0.0106
## 8 0.8377 nan 0.1000 0.0073
## 9 0.8206 nan 0.1000 0.0084
## 10 0.8074 nan 0.1000 0.0064
## 20 0.7236 nan 0.1000 0.0031
## 40 0.6547 nan 0.1000 0.0014
## 60 0.6273 nan 0.1000 0.0007
## 80 0.6112 nan 0.1000 0.0001
## 100 0.6005 nan 0.1000 0.0002
## 120 0.5920 nan 0.1000 0.0001
## 140 0.5869 nan 0.1000 0.0000
## 150 0.5849 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0586 nan 0.1000 0.0186
## 2 1.0287 nan 0.1000 0.0150
## 3 1.0041 nan 0.1000 0.0122
## 4 0.9834 nan 0.1000 0.0108
## 5 0.9636 nan 0.1000 0.0097
## 6 0.9494 nan 0.1000 0.0073
## 7 0.9331 nan 0.1000 0.0083
## 8 0.9181 nan 0.1000 0.0077
## 9 0.9080 nan 0.1000 0.0048
## 10 0.8958 nan 0.1000 0.0061
## 20 0.8157 nan 0.1000 0.0035
## 40 0.7360 nan 0.1000 0.0012
## 60 0.6960 nan 0.1000 0.0004
## 80 0.6705 nan 0.1000 0.0005
## 100 0.6541 nan 0.1000 0.0004
## 120 0.6441 nan 0.1000 0.0002
## 140 0.6366 nan 0.1000 0.0001
## 150 0.6339 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0443 nan 0.1000 0.0258
## 2 1.0042 nan 0.1000 0.0196
## 3 0.9711 nan 0.1000 0.0171
## 4 0.9450 nan 0.1000 0.0129
## 5 0.9211 nan 0.1000 0.0117
## 6 0.8969 nan 0.1000 0.0125
## 7 0.8779 nan 0.1000 0.0093
## 8 0.8594 nan 0.1000 0.0091
## 9 0.8441 nan 0.1000 0.0079
## 10 0.8328 nan 0.1000 0.0056
## 20 0.7503 nan 0.1000 0.0033
## 40 0.6779 nan 0.1000 0.0015
## 60 0.6474 nan 0.1000 0.0004
## 80 0.6305 nan 0.1000 0.0003
## 100 0.6201 nan 0.1000 0.0001
## 120 0.6111 nan 0.1000 0.0003
## 140 0.6043 nan 0.1000 0.0000
## 150 0.6017 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0369 nan 0.1000 0.0294
## 2 0.9899 nan 0.1000 0.0237
## 3 0.9518 nan 0.1000 0.0188
## 4 0.9206 nan 0.1000 0.0156
## 5 0.8949 nan 0.1000 0.0127
## 6 0.8723 nan 0.1000 0.0111
## 7 0.8503 nan 0.1000 0.0109
## 8 0.8325 nan 0.1000 0.0089
## 9 0.8171 nan 0.1000 0.0077
## 10 0.8031 nan 0.1000 0.0070
## 20 0.7235 nan 0.1000 0.0023
## 40 0.6550 nan 0.1000 0.0007
## 60 0.6273 nan 0.1000 0.0003
## 80 0.6102 nan 0.1000 0.0001
## 100 0.5990 nan 0.1000 0.0001
## 120 0.5915 nan 0.1000 -0.0000
## 140 0.5858 nan 0.1000 0.0000
## 150 0.5830 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0582 nan 0.1000 0.0187
## 2 1.0284 nan 0.1000 0.0151
## 3 1.0039 nan 0.1000 0.0123
## 4 0.9837 nan 0.1000 0.0098
## 5 0.9638 nan 0.1000 0.0098
## 6 0.9498 nan 0.1000 0.0069
## 7 0.9337 nan 0.1000 0.0083
## 8 0.9182 nan 0.1000 0.0078
## 9 0.9053 nan 0.1000 0.0065
## 10 0.8959 nan 0.1000 0.0047
## 20 0.8123 nan 0.1000 0.0033
## 40 0.7337 nan 0.1000 0.0011
## 60 0.6934 nan 0.1000 0.0005
## 80 0.6691 nan 0.1000 0.0003
## 100 0.6528 nan 0.1000 0.0004
## 120 0.6416 nan 0.1000 0.0004
## 140 0.6335 nan 0.1000 0.0001
## 150 0.6304 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0435 nan 0.1000 0.0261
## 2 1.0035 nan 0.1000 0.0197
## 3 0.9701 nan 0.1000 0.0166
## 4 0.9427 nan 0.1000 0.0136
## 5 0.9131 nan 0.1000 0.0145
## 6 0.8897 nan 0.1000 0.0117
## 7 0.8734 nan 0.1000 0.0080
## 8 0.8580 nan 0.1000 0.0076
## 9 0.8417 nan 0.1000 0.0082
## 10 0.8302 nan 0.1000 0.0055
## 20 0.7468 nan 0.1000 0.0033
## 40 0.6754 nan 0.1000 0.0011
## 60 0.6448 nan 0.1000 0.0004
## 80 0.6291 nan 0.1000 0.0001
## 100 0.6183 nan 0.1000 0.0004
## 120 0.6104 nan 0.1000 0.0001
## 140 0.6036 nan 0.1000 0.0001
## 150 0.6006 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0357 nan 0.1000 0.0296
## 2 0.9880 nan 0.1000 0.0236
## 3 0.9496 nan 0.1000 0.0187
## 4 0.9196 nan 0.1000 0.0149
## 5 0.8900 nan 0.1000 0.0145
## 6 0.8687 nan 0.1000 0.0109
## 7 0.8509 nan 0.1000 0.0087
## 8 0.8320 nan 0.1000 0.0095
## 9 0.8162 nan 0.1000 0.0077
## 10 0.8012 nan 0.1000 0.0072
## 20 0.7207 nan 0.1000 0.0023
## 40 0.6512 nan 0.1000 0.0009
## 60 0.6241 nan 0.1000 0.0004
## 80 0.6084 nan 0.1000 0.0003
## 100 0.5982 nan 0.1000 0.0000
## 120 0.5908 nan 0.1000 0.0000
## 140 0.5848 nan 0.1000 0.0000
## 150 0.5826 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0574 nan 0.1000 0.0188
## 2 1.0276 nan 0.1000 0.0151
## 3 1.0030 nan 0.1000 0.0123
## 4 0.9830 nan 0.1000 0.0103
## 5 0.9633 nan 0.1000 0.0099
## 6 0.9457 nan 0.1000 0.0086
## 7 0.9294 nan 0.1000 0.0080
## 8 0.9166 nan 0.1000 0.0067
## 9 0.9067 nan 0.1000 0.0048
## 10 0.8939 nan 0.1000 0.0063
## 20 0.8124 nan 0.1000 0.0033
## 40 0.7343 nan 0.1000 0.0009
## 60 0.6920 nan 0.1000 0.0010
## 80 0.6676 nan 0.1000 0.0005
## 100 0.6515 nan 0.1000 0.0001
## 120 0.6409 nan 0.1000 0.0001
## 140 0.6343 nan 0.1000 0.0001
## 150 0.6309 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0431 nan 0.1000 0.0264
## 2 1.0034 nan 0.1000 0.0201
## 3 0.9701 nan 0.1000 0.0165
## 4 0.9434 nan 0.1000 0.0135
## 5 0.9142 nan 0.1000 0.0145
## 6 0.8907 nan 0.1000 0.0116
## 7 0.8747 nan 0.1000 0.0080
## 8 0.8568 nan 0.1000 0.0090
## 9 0.8423 nan 0.1000 0.0071
## 10 0.8284 nan 0.1000 0.0068
## 20 0.7486 nan 0.1000 0.0029
## 40 0.6760 nan 0.1000 0.0007
## 60 0.6452 nan 0.1000 0.0006
## 80 0.6282 nan 0.1000 0.0002
## 100 0.6176 nan 0.1000 0.0002
## 120 0.6083 nan 0.1000 0.0001
## 140 0.6019 nan 0.1000 0.0002
## 150 0.5993 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0361 nan 0.1000 0.0300
## 2 0.9890 nan 0.1000 0.0234
## 3 0.9509 nan 0.1000 0.0192
## 4 0.9192 nan 0.1000 0.0156
## 5 0.8924 nan 0.1000 0.0134
## 6 0.8673 nan 0.1000 0.0124
## 7 0.8462 nan 0.1000 0.0105
## 8 0.8284 nan 0.1000 0.0087
## 9 0.8158 nan 0.1000 0.0062
## 10 0.8015 nan 0.1000 0.0071
## 20 0.7204 nan 0.1000 0.0023
## 40 0.6528 nan 0.1000 0.0014
## 60 0.6258 nan 0.1000 0.0006
## 80 0.6083 nan 0.1000 0.0004
## 100 0.5978 nan 0.1000 0.0001
## 120 0.5906 nan 0.1000 0.0000
## 140 0.5846 nan 0.1000 0.0001
## 150 0.5824 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0572 nan 0.1000 0.0186
## 2 1.0275 nan 0.1000 0.0150
## 3 1.0031 nan 0.1000 0.0122
## 4 0.9827 nan 0.1000 0.0104
## 5 0.9629 nan 0.1000 0.0098
## 6 0.9463 nan 0.1000 0.0083
## 7 0.9334 nan 0.1000 0.0066
## 8 0.9176 nan 0.1000 0.0078
## 9 0.9049 nan 0.1000 0.0064
## 10 0.8952 nan 0.1000 0.0048
## 20 0.8142 nan 0.1000 0.0023
## 40 0.7339 nan 0.1000 0.0011
## 60 0.6939 nan 0.1000 0.0008
## 80 0.6688 nan 0.1000 0.0004
## 100 0.6532 nan 0.1000 0.0003
## 120 0.6423 nan 0.1000 0.0002
## 140 0.6339 nan 0.1000 0.0002
## 150 0.6307 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0438 nan 0.1000 0.0260
## 2 1.0035 nan 0.1000 0.0200
## 3 0.9718 nan 0.1000 0.0158
## 4 0.9361 nan 0.1000 0.0179
## 5 0.9138 nan 0.1000 0.0108
## 6 0.8888 nan 0.1000 0.0124
## 7 0.8687 nan 0.1000 0.0102
## 8 0.8533 nan 0.1000 0.0080
## 9 0.8379 nan 0.1000 0.0076
## 10 0.8271 nan 0.1000 0.0053
## 20 0.7450 nan 0.1000 0.0027
## 40 0.6754 nan 0.1000 0.0012
## 60 0.6454 nan 0.1000 0.0006
## 80 0.6296 nan 0.1000 0.0004
## 100 0.6184 nan 0.1000 0.0003
## 120 0.6104 nan 0.1000 0.0002
## 140 0.6037 nan 0.1000 0.0001
## 150 0.6008 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0355 nan 0.1000 0.0296
## 2 0.9891 nan 0.1000 0.0231
## 3 0.9519 nan 0.1000 0.0185
## 4 0.9195 nan 0.1000 0.0161
## 5 0.8945 nan 0.1000 0.0125
## 6 0.8685 nan 0.1000 0.0128
## 7 0.8497 nan 0.1000 0.0092
## 8 0.8311 nan 0.1000 0.0094
## 9 0.8154 nan 0.1000 0.0077
## 10 0.8038 nan 0.1000 0.0054
## 20 0.7178 nan 0.1000 0.0025
## 40 0.6533 nan 0.1000 0.0009
## 60 0.6251 nan 0.1000 0.0004
## 80 0.6081 nan 0.1000 0.0002
## 100 0.5981 nan 0.1000 0.0002
## 120 0.5905 nan 0.1000 0.0000
## 140 0.5843 nan 0.1000 0.0001
## 150 0.5818 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0584 nan 0.1000 0.0185
## 2 1.0287 nan 0.1000 0.0149
## 3 1.0044 nan 0.1000 0.0121
## 4 0.9847 nan 0.1000 0.0101
## 5 0.9648 nan 0.1000 0.0097
## 6 0.9511 nan 0.1000 0.0064
## 7 0.9345 nan 0.1000 0.0084
## 8 0.9190 nan 0.1000 0.0077
## 9 0.9057 nan 0.1000 0.0064
## 10 0.8960 nan 0.1000 0.0048
## 20 0.8141 nan 0.1000 0.0033
## 40 0.7376 nan 0.1000 0.0008
## 60 0.6960 nan 0.1000 0.0005
## 80 0.6717 nan 0.1000 0.0006
## 100 0.6565 nan 0.1000 0.0002
## 120 0.6454 nan 0.1000 0.0003
## 140 0.6382 nan 0.1000 0.0001
## 150 0.6344 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0437 nan 0.1000 0.0259
## 2 1.0052 nan 0.1000 0.0195
## 3 0.9719 nan 0.1000 0.0162
## 4 0.9444 nan 0.1000 0.0137
## 5 0.9153 nan 0.1000 0.0148
## 6 0.8919 nan 0.1000 0.0117
## 7 0.8742 nan 0.1000 0.0086
## 8 0.8592 nan 0.1000 0.0074
## 9 0.8433 nan 0.1000 0.0078
## 10 0.8323 nan 0.1000 0.0056
## 20 0.7503 nan 0.1000 0.0025
## 40 0.6799 nan 0.1000 0.0008
## 60 0.6488 nan 0.1000 0.0005
## 80 0.6319 nan 0.1000 0.0001
## 100 0.6208 nan 0.1000 0.0001
## 120 0.6118 nan 0.1000 0.0003
## 140 0.6059 nan 0.1000 -0.0000
## 150 0.6034 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0363 nan 0.1000 0.0298
## 2 0.9897 nan 0.1000 0.0234
## 3 0.9530 nan 0.1000 0.0186
## 4 0.9199 nan 0.1000 0.0161
## 5 0.8952 nan 0.1000 0.0124
## 6 0.8720 nan 0.1000 0.0115
## 7 0.8501 nan 0.1000 0.0109
## 8 0.8322 nan 0.1000 0.0088
## 9 0.8164 nan 0.1000 0.0078
## 10 0.8029 nan 0.1000 0.0068
## 20 0.7224 nan 0.1000 0.0029
## 40 0.6556 nan 0.1000 0.0007
## 60 0.6280 nan 0.1000 0.0004
## 80 0.6121 nan 0.1000 0.0001
## 100 0.6018 nan 0.1000 0.0000
## 120 0.5931 nan 0.1000 0.0001
## 140 0.5879 nan 0.1000 -0.0000
## 150 0.5861 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0581 nan 0.1000 0.0184
## 2 1.0284 nan 0.1000 0.0148
## 3 1.0044 nan 0.1000 0.0120
## 4 0.9838 nan 0.1000 0.0106
## 5 0.9656 nan 0.1000 0.0087
## 6 0.9468 nan 0.1000 0.0095
## 7 0.9310 nan 0.1000 0.0078
## 8 0.9179 nan 0.1000 0.0065
## 9 0.9050 nan 0.1000 0.0063
## 10 0.8952 nan 0.1000 0.0046
## 20 0.8144 nan 0.1000 0.0025
## 40 0.7359 nan 0.1000 0.0012
## 60 0.6947 nan 0.1000 0.0009
## 80 0.6708 nan 0.1000 0.0005
## 100 0.6542 nan 0.1000 0.0004
## 120 0.6449 nan 0.1000 0.0001
## 140 0.6372 nan 0.1000 0.0001
## 150 0.6328 nan 0.1000 0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0436 nan 0.1000 0.0259
## 2 1.0040 nan 0.1000 0.0198
## 3 0.9711 nan 0.1000 0.0163
## 4 0.9384 nan 0.1000 0.0164
## 5 0.9154 nan 0.1000 0.0117
## 6 0.8918 nan 0.1000 0.0117
## 7 0.8724 nan 0.1000 0.0095
## 8 0.8574 nan 0.1000 0.0074
## 9 0.8454 nan 0.1000 0.0060
## 10 0.8326 nan 0.1000 0.0064
## 20 0.7499 nan 0.1000 0.0028
## 40 0.6778 nan 0.1000 0.0010
## 60 0.6477 nan 0.1000 0.0005
## 80 0.6313 nan 0.1000 0.0002
## 100 0.6204 nan 0.1000 0.0003
## 120 0.6120 nan 0.1000 -0.0000
## 140 0.6050 nan 0.1000 0.0000
## 150 0.6022 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0363 nan 0.1000 0.0297
## 2 0.9889 nan 0.1000 0.0239
## 3 0.9512 nan 0.1000 0.0189
## 4 0.9196 nan 0.1000 0.0158
## 5 0.8946 nan 0.1000 0.0127
## 6 0.8696 nan 0.1000 0.0124
## 7 0.8480 nan 0.1000 0.0107
## 8 0.8316 nan 0.1000 0.0080
## 9 0.8158 nan 0.1000 0.0077
## 10 0.8043 nan 0.1000 0.0059
## 20 0.7193 nan 0.1000 0.0025
## 40 0.6533 nan 0.1000 0.0010
## 60 0.6241 nan 0.1000 0.0003
## 80 0.6096 nan 0.1000 0.0000
## 100 0.5982 nan 0.1000 0.0000
## 120 0.5914 nan 0.1000 0.0002
## 140 0.5852 nan 0.1000 0.0000
## 150 0.5826 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0583 nan 0.1000 0.0188
## 2 1.0281 nan 0.1000 0.0151
## 3 1.0037 nan 0.1000 0.0123
## 4 0.9834 nan 0.1000 0.0106
## 5 0.9636 nan 0.1000 0.0098
## 6 0.9467 nan 0.1000 0.0084
## 7 0.9308 nan 0.1000 0.0080
## 8 0.9182 nan 0.1000 0.0065
## 9 0.9084 nan 0.1000 0.0049
## 10 0.8955 nan 0.1000 0.0061
## 20 0.8138 nan 0.1000 0.0033
## 40 0.7363 nan 0.1000 0.0014
## 60 0.6956 nan 0.1000 0.0006
## 80 0.6707 nan 0.1000 0.0006
## 100 0.6552 nan 0.1000 0.0001
## 120 0.6443 nan 0.1000 0.0001
## 140 0.6358 nan 0.1000 0.0003
## 150 0.6327 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0440 nan 0.1000 0.0258
## 2 1.0039 nan 0.1000 0.0197
## 3 0.9708 nan 0.1000 0.0165
## 4 0.9436 nan 0.1000 0.0137
## 5 0.9146 nan 0.1000 0.0150
## 6 0.8911 nan 0.1000 0.0116
## 7 0.8738 nan 0.1000 0.0088
## 8 0.8578 nan 0.1000 0.0076
## 9 0.8431 nan 0.1000 0.0074
## 10 0.8311 nan 0.1000 0.0061
## 20 0.7490 nan 0.1000 0.0028
## 40 0.6753 nan 0.1000 0.0010
## 60 0.6460 nan 0.1000 0.0006
## 80 0.6300 nan 0.1000 0.0005
## 100 0.6200 nan 0.1000 0.0002
## 120 0.6123 nan 0.1000 0.0001
## 140 0.6060 nan 0.1000 0.0000
## 150 0.6040 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0358 nan 0.1000 0.0296
## 2 0.9896 nan 0.1000 0.0231
## 3 0.9522 nan 0.1000 0.0185
## 4 0.9201 nan 0.1000 0.0156
## 5 0.8948 nan 0.1000 0.0122
## 6 0.8719 nan 0.1000 0.0114
## 7 0.8495 nan 0.1000 0.0110
## 8 0.8342 nan 0.1000 0.0076
## 9 0.8186 nan 0.1000 0.0077
## 10 0.8040 nan 0.1000 0.0072
## 20 0.7215 nan 0.1000 0.0028
## 40 0.6528 nan 0.1000 0.0010
## 60 0.6264 nan 0.1000 0.0005
## 80 0.6113 nan 0.1000 0.0002
## 100 0.6006 nan 0.1000 0.0000
## 120 0.5931 nan 0.1000 0.0001
## 140 0.5875 nan 0.1000 0.0001
## 150 0.5847 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0580 nan 0.1000 0.0188
## 2 1.0279 nan 0.1000 0.0151
## 3 1.0034 nan 0.1000 0.0123
## 4 0.9833 nan 0.1000 0.0100
## 5 0.9639 nan 0.1000 0.0099
## 6 0.9502 nan 0.1000 0.0066
## 7 0.9342 nan 0.1000 0.0081
## 8 0.9181 nan 0.1000 0.0079
## 9 0.9079 nan 0.1000 0.0050
## 10 0.8957 nan 0.1000 0.0061
## 20 0.8142 nan 0.1000 0.0035
## 40 0.7354 nan 0.1000 0.0015
## 60 0.6951 nan 0.1000 0.0007
## 80 0.6706 nan 0.1000 0.0006
## 100 0.6558 nan 0.1000 0.0001
## 120 0.6449 nan 0.1000 0.0002
## 140 0.6370 nan 0.1000 0.0001
## 150 0.6332 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0432 nan 0.1000 0.0262
## 2 1.0034 nan 0.1000 0.0203
## 3 0.9696 nan 0.1000 0.0167
## 4 0.9425 nan 0.1000 0.0135
## 5 0.9129 nan 0.1000 0.0146
## 6 0.8895 nan 0.1000 0.0119
## 7 0.8698 nan 0.1000 0.0097
## 8 0.8554 nan 0.1000 0.0072
## 9 0.8420 nan 0.1000 0.0066
## 10 0.8305 nan 0.1000 0.0054
## 20 0.7470 nan 0.1000 0.0033
## 40 0.6784 nan 0.1000 0.0008
## 60 0.6480 nan 0.1000 0.0006
## 80 0.6325 nan 0.1000 0.0003
## 100 0.6210 nan 0.1000 0.0001
## 120 0.6125 nan 0.1000 0.0001
## 140 0.6050 nan 0.1000 0.0001
## 150 0.6024 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0364 nan 0.1000 0.0295
## 2 0.9885 nan 0.1000 0.0235
## 3 0.9515 nan 0.1000 0.0184
## 4 0.9198 nan 0.1000 0.0156
## 5 0.8932 nan 0.1000 0.0133
## 6 0.8708 nan 0.1000 0.0109
## 7 0.8487 nan 0.1000 0.0110
## 8 0.8309 nan 0.1000 0.0089
## 9 0.8148 nan 0.1000 0.0077
## 10 0.8006 nan 0.1000 0.0070
## 20 0.7194 nan 0.1000 0.0029
## 40 0.6530 nan 0.1000 0.0008
## 60 0.6261 nan 0.1000 0.0003
## 80 0.6102 nan 0.1000 0.0002
## 100 0.5983 nan 0.1000 0.0001
## 120 0.5909 nan 0.1000 0.0002
## 140 0.5858 nan 0.1000 0.0001
## 150 0.5838 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0587 nan 0.1000 0.0184
## 2 1.0290 nan 0.1000 0.0149
## 3 1.0071 nan 0.1000 0.0107
## 4 0.9834 nan 0.1000 0.0118
## 5 0.9639 nan 0.1000 0.0097
## 6 0.9462 nan 0.1000 0.0085
## 7 0.9330 nan 0.1000 0.0063
## 8 0.9175 nan 0.1000 0.0077
## 9 0.9048 nan 0.1000 0.0064
## 10 0.8952 nan 0.1000 0.0047
## 20 0.8129 nan 0.1000 0.0032
## 40 0.7380 nan 0.1000 0.0011
## 60 0.6947 nan 0.1000 0.0007
## 80 0.6707 nan 0.1000 0.0003
## 100 0.6557 nan 0.1000 0.0002
## 120 0.6441 nan 0.1000 0.0001
## 140 0.6367 nan 0.1000 0.0001
## 150 0.6336 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0436 nan 0.1000 0.0255
## 2 1.0047 nan 0.1000 0.0197
## 3 0.9717 nan 0.1000 0.0163
## 4 0.9457 nan 0.1000 0.0132
## 5 0.9168 nan 0.1000 0.0148
## 6 0.8932 nan 0.1000 0.0115
## 7 0.8741 nan 0.1000 0.0097
## 8 0.8597 nan 0.1000 0.0073
## 9 0.8445 nan 0.1000 0.0075
## 10 0.8336 nan 0.1000 0.0055
## 20 0.7530 nan 0.1000 0.0025
## 40 0.6792 nan 0.1000 0.0011
## 60 0.6486 nan 0.1000 0.0003
## 80 0.6326 nan 0.1000 0.0003
## 100 0.6219 nan 0.1000 0.0001
## 120 0.6130 nan 0.1000 0.0003
## 140 0.6068 nan 0.1000 0.0000
## 150 0.6042 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0365 nan 0.1000 0.0289
## 2 0.9893 nan 0.1000 0.0234
## 3 0.9526 nan 0.1000 0.0182
## 4 0.9207 nan 0.1000 0.0157
## 5 0.8957 nan 0.1000 0.0125
## 6 0.8730 nan 0.1000 0.0115
## 7 0.8517 nan 0.1000 0.0106
## 8 0.8335 nan 0.1000 0.0091
## 9 0.8206 nan 0.1000 0.0062
## 10 0.8062 nan 0.1000 0.0073
## 20 0.7205 nan 0.1000 0.0031
## 40 0.6538 nan 0.1000 0.0010
## 60 0.6262 nan 0.1000 0.0004
## 80 0.6103 nan 0.1000 0.0002
## 100 0.6012 nan 0.1000 0.0002
## 120 0.5944 nan 0.1000 0.0000
## 140 0.5887 nan 0.1000 -0.0001
## 150 0.5867 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0586 nan 0.1000 0.0186
## 2 1.0285 nan 0.1000 0.0149
## 3 1.0042 nan 0.1000 0.0122
## 4 0.9841 nan 0.1000 0.0103
## 5 0.9649 nan 0.1000 0.0097
## 6 0.9481 nan 0.1000 0.0085
## 7 0.9350 nan 0.1000 0.0066
## 8 0.9197 nan 0.1000 0.0078
## 9 0.9096 nan 0.1000 0.0051
## 10 0.8968 nan 0.1000 0.0062
## 20 0.8160 nan 0.1000 0.0022
## 40 0.7366 nan 0.1000 0.0017
## 60 0.6954 nan 0.1000 0.0005
## 80 0.6704 nan 0.1000 0.0004
## 100 0.6561 nan 0.1000 0.0001
## 120 0.6443 nan 0.1000 0.0001
## 140 0.6369 nan 0.1000 0.0002
## 150 0.6338 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0431 nan 0.1000 0.0261
## 2 1.0040 nan 0.1000 0.0196
## 3 0.9708 nan 0.1000 0.0167
## 4 0.9383 nan 0.1000 0.0162
## 5 0.9146 nan 0.1000 0.0118
## 6 0.8912 nan 0.1000 0.0117
## 7 0.8716 nan 0.1000 0.0094
## 8 0.8574 nan 0.1000 0.0072
## 9 0.8456 nan 0.1000 0.0060
## 10 0.8325 nan 0.1000 0.0064
## 20 0.7490 nan 0.1000 0.0029
## 40 0.6783 nan 0.1000 0.0010
## 60 0.6478 nan 0.1000 0.0003
## 80 0.6314 nan 0.1000 0.0002
## 100 0.6203 nan 0.1000 0.0001
## 120 0.6121 nan 0.1000 0.0002
## 140 0.6067 nan 0.1000 0.0000
## 150 0.6043 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0372 nan 0.1000 0.0296
## 2 0.9901 nan 0.1000 0.0232
## 3 0.9525 nan 0.1000 0.0187
## 4 0.9203 nan 0.1000 0.0162
## 5 0.8944 nan 0.1000 0.0131
## 6 0.8728 nan 0.1000 0.0106
## 7 0.8516 nan 0.1000 0.0105
## 8 0.8329 nan 0.1000 0.0096
## 9 0.8171 nan 0.1000 0.0078
## 10 0.8041 nan 0.1000 0.0064
## 20 0.7197 nan 0.1000 0.0027
## 40 0.6545 nan 0.1000 0.0011
## 60 0.6279 nan 0.1000 0.0005
## 80 0.6134 nan 0.1000 0.0002
## 100 0.6028 nan 0.1000 0.0001
## 120 0.5956 nan 0.1000 0.0000
## 140 0.5900 nan 0.1000 -0.0000
## 150 0.5880 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0583 nan 0.1000 0.0187
## 2 1.0283 nan 0.1000 0.0151
## 3 1.0040 nan 0.1000 0.0123
## 4 0.9833 nan 0.1000 0.0104
## 5 0.9633 nan 0.1000 0.0098
## 6 0.9459 nan 0.1000 0.0086
## 7 0.9326 nan 0.1000 0.0067
## 8 0.9173 nan 0.1000 0.0078
## 9 0.9070 nan 0.1000 0.0051
## 10 0.8947 nan 0.1000 0.0062
## 20 0.8133 nan 0.1000 0.0035
## 40 0.7342 nan 0.1000 0.0016
## 60 0.6933 nan 0.1000 0.0010
## 80 0.6695 nan 0.1000 0.0004
## 100 0.6545 nan 0.1000 0.0001
## 120 0.6437 nan 0.1000 0.0002
## 140 0.6354 nan 0.1000 0.0002
## 150 0.6325 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0439 nan 0.1000 0.0262
## 2 1.0042 nan 0.1000 0.0202
## 3 0.9703 nan 0.1000 0.0168
## 4 0.9436 nan 0.1000 0.0133
## 5 0.9142 nan 0.1000 0.0147
## 6 0.8908 nan 0.1000 0.0118
## 7 0.8712 nan 0.1000 0.0098
## 8 0.8553 nan 0.1000 0.0079
## 9 0.8414 nan 0.1000 0.0070
## 10 0.8302 nan 0.1000 0.0056
## 20 0.7469 nan 0.1000 0.0028
## 40 0.6757 nan 0.1000 0.0012
## 60 0.6457 nan 0.1000 0.0003
## 80 0.6302 nan 0.1000 0.0001
## 100 0.6188 nan 0.1000 0.0001
## 120 0.6108 nan 0.1000 0.0000
## 140 0.6046 nan 0.1000 0.0001
## 150 0.6019 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0364 nan 0.1000 0.0298
## 2 0.9891 nan 0.1000 0.0235
## 3 0.9524 nan 0.1000 0.0184
## 4 0.9210 nan 0.1000 0.0158
## 5 0.8941 nan 0.1000 0.0135
## 6 0.8717 nan 0.1000 0.0111
## 7 0.8505 nan 0.1000 0.0109
## 8 0.8316 nan 0.1000 0.0094
## 9 0.8149 nan 0.1000 0.0082
## 10 0.8036 nan 0.1000 0.0052
## 20 0.7208 nan 0.1000 0.0029
## 40 0.6531 nan 0.1000 0.0008
## 60 0.6252 nan 0.1000 0.0003
## 80 0.6084 nan 0.1000 0.0002
## 100 0.5987 nan 0.1000 0.0000
## 120 0.5916 nan 0.1000 0.0001
## 140 0.5872 nan 0.1000 0.0001
## 150 0.5848 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0581 nan 0.1000 0.0185
## 2 1.0288 nan 0.1000 0.0150
## 3 1.0042 nan 0.1000 0.0122
## 4 0.9838 nan 0.1000 0.0099
## 5 0.9646 nan 0.1000 0.0090
## 6 0.9503 nan 0.1000 0.0072
## 7 0.9337 nan 0.1000 0.0083
## 8 0.9201 nan 0.1000 0.0064
## 9 0.9048 nan 0.1000 0.0076
## 10 0.8919 nan 0.1000 0.0063
## 20 0.8142 nan 0.1000 0.0034
## 40 0.7351 nan 0.1000 0.0013
## 60 0.6948 nan 0.1000 0.0010
## 80 0.6708 nan 0.1000 0.0005
## 100 0.6549 nan 0.1000 0.0005
## 120 0.6443 nan 0.1000 0.0001
## 140 0.6368 nan 0.1000 -0.0000
## 150 0.6338 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0435 nan 0.1000 0.0258
## 2 1.0041 nan 0.1000 0.0195
## 3 0.9712 nan 0.1000 0.0165
## 4 0.9433 nan 0.1000 0.0135
## 5 0.9149 nan 0.1000 0.0143
## 6 0.8914 nan 0.1000 0.0119
## 7 0.8750 nan 0.1000 0.0080
## 8 0.8604 nan 0.1000 0.0073
## 9 0.8438 nan 0.1000 0.0083
## 10 0.8322 nan 0.1000 0.0056
## 20 0.7523 nan 0.1000 0.0026
## 40 0.6788 nan 0.1000 0.0008
## 60 0.6494 nan 0.1000 0.0004
## 80 0.6336 nan 0.1000 0.0003
## 100 0.6214 nan 0.1000 0.0004
## 120 0.6137 nan 0.1000 0.0000
## 140 0.6064 nan 0.1000 0.0000
## 150 0.6035 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0356 nan 0.1000 0.0296
## 2 0.9893 nan 0.1000 0.0231
## 3 0.9518 nan 0.1000 0.0188
## 4 0.9205 nan 0.1000 0.0155
## 5 0.8952 nan 0.1000 0.0124
## 6 0.8726 nan 0.1000 0.0108
## 7 0.8540 nan 0.1000 0.0094
## 8 0.8349 nan 0.1000 0.0092
## 9 0.8208 nan 0.1000 0.0066
## 10 0.8069 nan 0.1000 0.0067
## 20 0.7217 nan 0.1000 0.0029
## 40 0.6548 nan 0.1000 0.0009
## 60 0.6284 nan 0.1000 0.0002
## 80 0.6129 nan 0.1000 0.0001
## 100 0.6023 nan 0.1000 0.0001
## 120 0.5958 nan 0.1000 0.0002
## 140 0.5887 nan 0.1000 0.0003
## 150 0.5852 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0584 nan 0.1000 0.0187
## 2 1.0284 nan 0.1000 0.0151
## 3 1.0035 nan 0.1000 0.0123
## 4 0.9832 nan 0.1000 0.0105
## 5 0.9638 nan 0.1000 0.0098
## 6 0.9502 nan 0.1000 0.0068
## 7 0.9341 nan 0.1000 0.0082
## 8 0.9179 nan 0.1000 0.0078
## 9 0.9052 nan 0.1000 0.0063
## 10 0.8923 nan 0.1000 0.0063
## 20 0.8140 nan 0.1000 0.0023
## 40 0.7343 nan 0.1000 0.0012
## 60 0.6939 nan 0.1000 0.0009
## 80 0.6692 nan 0.1000 0.0004
## 100 0.6531 nan 0.1000 0.0003
## 120 0.6429 nan 0.1000 0.0001
## 140 0.6348 nan 0.1000 0.0003
## 150 0.6316 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0432 nan 0.1000 0.0258
## 2 1.0032 nan 0.1000 0.0197
## 3 0.9699 nan 0.1000 0.0169
## 4 0.9440 nan 0.1000 0.0131
## 5 0.9154 nan 0.1000 0.0147
## 6 0.8919 nan 0.1000 0.0119
## 7 0.8722 nan 0.1000 0.0100
## 8 0.8572 nan 0.1000 0.0078
## 9 0.8430 nan 0.1000 0.0071
## 10 0.8322 nan 0.1000 0.0054
## 20 0.7492 nan 0.1000 0.0026
## 40 0.6761 nan 0.1000 0.0014
## 60 0.6455 nan 0.1000 0.0005
## 80 0.6299 nan 0.1000 0.0001
## 100 0.6185 nan 0.1000 0.0001
## 120 0.6101 nan 0.1000 0.0001
## 140 0.6028 nan 0.1000 0.0000
## 150 0.6004 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0361 nan 0.1000 0.0297
## 2 0.9902 nan 0.1000 0.0233
## 3 0.9533 nan 0.1000 0.0183
## 4 0.9218 nan 0.1000 0.0157
## 5 0.8920 nan 0.1000 0.0151
## 6 0.8693 nan 0.1000 0.0112
## 7 0.8481 nan 0.1000 0.0103
## 8 0.8319 nan 0.1000 0.0078
## 9 0.8160 nan 0.1000 0.0078
## 10 0.8013 nan 0.1000 0.0074
## 20 0.7187 nan 0.1000 0.0030
## 40 0.6517 nan 0.1000 0.0006
## 60 0.6255 nan 0.1000 0.0005
## 80 0.6093 nan 0.1000 0.0001
## 100 0.6001 nan 0.1000 0.0001
## 120 0.5919 nan 0.1000 0.0000
## 140 0.5856 nan 0.1000 0.0000
## 150 0.5832 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0575 nan 0.1000 0.0186
## 2 1.0270 nan 0.1000 0.0150
## 3 1.0028 nan 0.1000 0.0122
## 4 0.9829 nan 0.1000 0.0097
## 5 0.9679 nan 0.1000 0.0070
## 6 0.9490 nan 0.1000 0.0096
## 7 0.9323 nan 0.1000 0.0081
## 8 0.9165 nan 0.1000 0.0078
## 9 0.9041 nan 0.1000 0.0061
## 10 0.8943 nan 0.1000 0.0048
## 20 0.8141 nan 0.1000 0.0023
## 40 0.7365 nan 0.1000 0.0016
## 60 0.6952 nan 0.1000 0.0008
## 80 0.6709 nan 0.1000 0.0003
## 100 0.6553 nan 0.1000 0.0003
## 120 0.6452 nan 0.1000 0.0001
## 140 0.6352 nan 0.1000 0.0001
## 150 0.6323 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0431 nan 0.1000 0.0259
## 2 1.0037 nan 0.1000 0.0196
## 3 0.9702 nan 0.1000 0.0169
## 4 0.9436 nan 0.1000 0.0134
## 5 0.9144 nan 0.1000 0.0146
## 6 0.8907 nan 0.1000 0.0116
## 7 0.8730 nan 0.1000 0.0086
## 8 0.8569 nan 0.1000 0.0080
## 9 0.8412 nan 0.1000 0.0081
## 10 0.8293 nan 0.1000 0.0060
## 20 0.7480 nan 0.1000 0.0029
## 40 0.6783 nan 0.1000 0.0010
## 60 0.6468 nan 0.1000 0.0004
## 80 0.6308 nan 0.1000 0.0004
## 100 0.6199 nan 0.1000 0.0002
## 120 0.6122 nan 0.1000 0.0000
## 140 0.6050 nan 0.1000 0.0001
## 150 0.6021 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0348 nan 0.1000 0.0297
## 2 0.9884 nan 0.1000 0.0235
## 3 0.9515 nan 0.1000 0.0187
## 4 0.9189 nan 0.1000 0.0163
## 5 0.8931 nan 0.1000 0.0126
## 6 0.8707 nan 0.1000 0.0110
## 7 0.8521 nan 0.1000 0.0095
## 8 0.8333 nan 0.1000 0.0094
## 9 0.8203 nan 0.1000 0.0064
## 10 0.8069 nan 0.1000 0.0066
## 20 0.7256 nan 0.1000 0.0024
## 40 0.6563 nan 0.1000 0.0010
## 60 0.6292 nan 0.1000 0.0005
## 80 0.6112 nan 0.1000 0.0001
## 100 0.6005 nan 0.1000 -0.0000
## 120 0.5940 nan 0.1000 0.0000
## 140 0.5870 nan 0.1000 0.0002
## 150 0.5850 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0581 nan 0.1000 0.0187
## 2 1.0281 nan 0.1000 0.0151
## 3 1.0032 nan 0.1000 0.0123
## 4 0.9827 nan 0.1000 0.0105
## 5 0.9627 nan 0.1000 0.0098
## 6 0.9492 nan 0.1000 0.0061
## 7 0.9331 nan 0.1000 0.0079
## 8 0.9163 nan 0.1000 0.0081
## 9 0.9063 nan 0.1000 0.0045
## 10 0.8935 nan 0.1000 0.0062
## 20 0.8112 nan 0.1000 0.0034
## 40 0.7354 nan 0.1000 0.0012
## 60 0.6934 nan 0.1000 0.0008
## 80 0.6688 nan 0.1000 0.0002
## 100 0.6536 nan 0.1000 0.0004
## 120 0.6416 nan 0.1000 0.0002
## 140 0.6344 nan 0.1000 0.0002
## 150 0.6312 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0443 nan 0.1000 0.0260
## 2 1.0051 nan 0.1000 0.0198
## 3 0.9720 nan 0.1000 0.0166
## 4 0.9446 nan 0.1000 0.0138
## 5 0.9156 nan 0.1000 0.0147
## 6 0.8923 nan 0.1000 0.0119
## 7 0.8747 nan 0.1000 0.0086
## 8 0.8582 nan 0.1000 0.0080
## 9 0.8423 nan 0.1000 0.0081
## 10 0.8308 nan 0.1000 0.0056
## 20 0.7479 nan 0.1000 0.0034
## 40 0.6775 nan 0.1000 0.0009
## 60 0.6456 nan 0.1000 0.0004
## 80 0.6290 nan 0.1000 0.0002
## 100 0.6187 nan 0.1000 0.0002
## 120 0.6097 nan 0.1000 0.0001
## 140 0.6034 nan 0.1000 0.0001
## 150 0.6013 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0371 nan 0.1000 0.0296
## 2 0.9897 nan 0.1000 0.0239
## 3 0.9524 nan 0.1000 0.0189
## 4 0.9203 nan 0.1000 0.0163
## 5 0.8956 nan 0.1000 0.0122
## 6 0.8703 nan 0.1000 0.0127
## 7 0.8486 nan 0.1000 0.0107
## 8 0.8330 nan 0.1000 0.0077
## 9 0.8169 nan 0.1000 0.0078
## 10 0.8058 nan 0.1000 0.0053
## 20 0.7204 nan 0.1000 0.0025
## 40 0.6523 nan 0.1000 0.0011
## 60 0.6250 nan 0.1000 0.0006
## 80 0.6098 nan 0.1000 0.0002
## 100 0.5997 nan 0.1000 0.0001
## 120 0.5913 nan 0.1000 0.0000
## 140 0.5854 nan 0.1000 0.0001
## 150 0.5832 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0580 nan 0.1000 0.0187
## 2 1.0271 nan 0.1000 0.0151
## 3 1.0026 nan 0.1000 0.0122
## 4 0.9822 nan 0.1000 0.0097
## 5 0.9626 nan 0.1000 0.0098
## 6 0.9452 nan 0.1000 0.0086
## 7 0.9320 nan 0.1000 0.0064
## 8 0.9166 nan 0.1000 0.0078
## 9 0.9039 nan 0.1000 0.0064
## 10 0.8943 nan 0.1000 0.0048
## 20 0.8134 nan 0.1000 0.0024
## 40 0.7339 nan 0.1000 0.0020
## 60 0.6935 nan 0.1000 0.0007
## 80 0.6676 nan 0.1000 0.0007
## 100 0.6526 nan 0.1000 0.0004
## 120 0.6420 nan 0.1000 0.0001
## 140 0.6354 nan 0.1000 0.0001
## 150 0.6320 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0434 nan 0.1000 0.0262
## 2 1.0038 nan 0.1000 0.0200
## 3 0.9699 nan 0.1000 0.0164
## 4 0.9434 nan 0.1000 0.0134
## 5 0.9139 nan 0.1000 0.0148
## 6 0.8900 nan 0.1000 0.0121
## 7 0.8704 nan 0.1000 0.0100
## 8 0.8561 nan 0.1000 0.0071
## 9 0.8410 nan 0.1000 0.0075
## 10 0.8299 nan 0.1000 0.0053
## 20 0.7477 nan 0.1000 0.0032
## 40 0.6767 nan 0.1000 0.0009
## 60 0.6464 nan 0.1000 0.0005
## 80 0.6295 nan 0.1000 0.0004
## 100 0.6189 nan 0.1000 0.0002
## 120 0.6102 nan 0.1000 0.0003
## 140 0.6042 nan 0.1000 -0.0000
## 150 0.6012 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0362 nan 0.1000 0.0296
## 2 0.9896 nan 0.1000 0.0235
## 3 0.9520 nan 0.1000 0.0188
## 4 0.9194 nan 0.1000 0.0160
## 5 0.8934 nan 0.1000 0.0130
## 6 0.8711 nan 0.1000 0.0111
## 7 0.8493 nan 0.1000 0.0110
## 8 0.8334 nan 0.1000 0.0078
## 9 0.8181 nan 0.1000 0.0076
## 10 0.8057 nan 0.1000 0.0061
## 20 0.7192 nan 0.1000 0.0026
## 40 0.6519 nan 0.1000 0.0007
## 60 0.6249 nan 0.1000 0.0005
## 80 0.6101 nan 0.1000 0.0003
## 100 0.6003 nan 0.1000 0.0001
## 120 0.5919 nan 0.1000 0.0000
## 140 0.5869 nan 0.1000 -0.0000
## 150 0.5839 nan 0.1000 0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0578 nan 0.1000 0.0188
## 2 1.0275 nan 0.1000 0.0151
## 3 1.0035 nan 0.1000 0.0123
## 4 0.9831 nan 0.1000 0.0100
## 5 0.9632 nan 0.1000 0.0099
## 6 0.9460 nan 0.1000 0.0087
## 7 0.9328 nan 0.1000 0.0062
## 8 0.9171 nan 0.1000 0.0078
## 9 0.9044 nan 0.1000 0.0064
## 10 0.8946 nan 0.1000 0.0049
## 20 0.8158 nan 0.1000 0.0025
## 40 0.7345 nan 0.1000 0.0016
## 60 0.6924 nan 0.1000 0.0010
## 80 0.6671 nan 0.1000 0.0004
## 100 0.6524 nan 0.1000 0.0001
## 120 0.6415 nan 0.1000 0.0003
## 140 0.6331 nan 0.1000 0.0001
## 150 0.6305 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0428 nan 0.1000 0.0260
## 2 1.0028 nan 0.1000 0.0197
## 3 0.9699 nan 0.1000 0.0163
## 4 0.9428 nan 0.1000 0.0139
## 5 0.9138 nan 0.1000 0.0146
## 6 0.8900 nan 0.1000 0.0118
## 7 0.8702 nan 0.1000 0.0096
## 8 0.8553 nan 0.1000 0.0076
## 9 0.8434 nan 0.1000 0.0060
## 10 0.8304 nan 0.1000 0.0065
## 20 0.7491 nan 0.1000 0.0028
## 40 0.6737 nan 0.1000 0.0012
## 60 0.6443 nan 0.1000 0.0002
## 80 0.6278 nan 0.1000 0.0000
## 100 0.6170 nan 0.1000 0.0000
## 120 0.6089 nan 0.1000 0.0001
## 140 0.6029 nan 0.1000 0.0001
## 150 0.6003 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0363 nan 0.1000 0.0300
## 2 0.9893 nan 0.1000 0.0237
## 3 0.9510 nan 0.1000 0.0189
## 4 0.9194 nan 0.1000 0.0158
## 5 0.8938 nan 0.1000 0.0126
## 6 0.8713 nan 0.1000 0.0114
## 7 0.8491 nan 0.1000 0.0111
## 8 0.8309 nan 0.1000 0.0091
## 9 0.8176 nan 0.1000 0.0065
## 10 0.8046 nan 0.1000 0.0065
## 20 0.7191 nan 0.1000 0.0032
## 40 0.6516 nan 0.1000 0.0006
## 60 0.6252 nan 0.1000 0.0004
## 80 0.6083 nan 0.1000 0.0001
## 100 0.5981 nan 0.1000 0.0001
## 120 0.5903 nan 0.1000 0.0000
## 140 0.5839 nan 0.1000 0.0001
## 150 0.5809 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0580 nan 0.1000 0.0184
## 2 1.0290 nan 0.1000 0.0148
## 3 1.0044 nan 0.1000 0.0121
## 4 0.9838 nan 0.1000 0.0098
## 5 0.9644 nan 0.1000 0.0097
## 6 0.9500 nan 0.1000 0.0070
## 7 0.9333 nan 0.1000 0.0083
## 8 0.9181 nan 0.1000 0.0077
## 9 0.9055 nan 0.1000 0.0065
## 10 0.8959 nan 0.1000 0.0049
## 20 0.8153 nan 0.1000 0.0024
## 40 0.7350 nan 0.1000 0.0015
## 60 0.6944 nan 0.1000 0.0005
## 80 0.6694 nan 0.1000 0.0006
## 100 0.6543 nan 0.1000 0.0002
## 120 0.6439 nan 0.1000 0.0002
## 140 0.6362 nan 0.1000 0.0001
## 150 0.6326 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0437 nan 0.1000 0.0257
## 2 1.0041 nan 0.1000 0.0198
## 3 0.9699 nan 0.1000 0.0162
## 4 0.9432 nan 0.1000 0.0131
## 5 0.9148 nan 0.1000 0.0144
## 6 0.8910 nan 0.1000 0.0116
## 7 0.8715 nan 0.1000 0.0095
## 8 0.8570 nan 0.1000 0.0072
## 9 0.8451 nan 0.1000 0.0059
## 10 0.8321 nan 0.1000 0.0066
## 20 0.7489 nan 0.1000 0.0027
## 40 0.6760 nan 0.1000 0.0008
## 60 0.6477 nan 0.1000 0.0005
## 80 0.6317 nan 0.1000 0.0004
## 100 0.6204 nan 0.1000 0.0002
## 120 0.6110 nan 0.1000 0.0002
## 140 0.6055 nan 0.1000 0.0002
## 150 0.6028 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0357 nan 0.1000 0.0293
## 2 0.9890 nan 0.1000 0.0234
## 3 0.9509 nan 0.1000 0.0191
## 4 0.9193 nan 0.1000 0.0156
## 5 0.8942 nan 0.1000 0.0124
## 6 0.8728 nan 0.1000 0.0103
## 7 0.8508 nan 0.1000 0.0112
## 8 0.8320 nan 0.1000 0.0093
## 9 0.8160 nan 0.1000 0.0081
## 10 0.8045 nan 0.1000 0.0057
## 20 0.7198 nan 0.1000 0.0026
## 40 0.6529 nan 0.1000 0.0007
## 60 0.6266 nan 0.1000 0.0004
## 80 0.6109 nan 0.1000 0.0001
## 100 0.6000 nan 0.1000 0.0001
## 120 0.5924 nan 0.1000 -0.0000
## 140 0.5871 nan 0.1000 0.0000
## 150 0.5844 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0576 nan 0.1000 0.0187
## 2 1.0271 nan 0.1000 0.0150
## 3 1.0033 nan 0.1000 0.0122
## 4 0.9831 nan 0.1000 0.0104
## 5 0.9635 nan 0.1000 0.0098
## 6 0.9463 nan 0.1000 0.0085
## 7 0.9332 nan 0.1000 0.0065
## 8 0.9179 nan 0.1000 0.0078
## 9 0.9046 nan 0.1000 0.0065
## 10 0.8916 nan 0.1000 0.0062
## 20 0.8140 nan 0.1000 0.0024
## 40 0.7362 nan 0.1000 0.0009
## 60 0.6947 nan 0.1000 0.0011
## 80 0.6694 nan 0.1000 0.0006
## 100 0.6543 nan 0.1000 0.0002
## 120 0.6435 nan 0.1000 0.0001
## 140 0.6359 nan 0.1000 0.0000
## 150 0.6327 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0436 nan 0.1000 0.0261
## 2 1.0038 nan 0.1000 0.0197
## 3 0.9707 nan 0.1000 0.0169
## 4 0.9442 nan 0.1000 0.0133
## 5 0.9152 nan 0.1000 0.0145
## 6 0.8915 nan 0.1000 0.0117
## 7 0.8721 nan 0.1000 0.0097
## 8 0.8557 nan 0.1000 0.0079
## 9 0.8424 nan 0.1000 0.0068
## 10 0.8312 nan 0.1000 0.0056
## 20 0.7492 nan 0.1000 0.0027
## 40 0.6767 nan 0.1000 0.0012
## 60 0.6461 nan 0.1000 0.0005
## 80 0.6307 nan 0.1000 0.0004
## 100 0.6195 nan 0.1000 0.0001
## 120 0.6116 nan 0.1000 0.0001
## 140 0.6045 nan 0.1000 0.0001
## 150 0.6018 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0370 nan 0.1000 0.0300
## 2 0.9905 nan 0.1000 0.0232
## 3 0.9530 nan 0.1000 0.0187
## 4 0.9209 nan 0.1000 0.0161
## 5 0.8948 nan 0.1000 0.0130
## 6 0.8725 nan 0.1000 0.0110
## 7 0.8535 nan 0.1000 0.0094
## 8 0.8345 nan 0.1000 0.0095
## 9 0.8180 nan 0.1000 0.0082
## 10 0.8058 nan 0.1000 0.0059
## 20 0.7208 nan 0.1000 0.0028
## 40 0.6539 nan 0.1000 0.0008
## 60 0.6273 nan 0.1000 0.0005
## 80 0.6098 nan 0.1000 0.0001
## 100 0.5999 nan 0.1000 0.0001
## 120 0.5921 nan 0.1000 0.0001
## 140 0.5868 nan 0.1000 0.0000
## 150 0.5845 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0582 nan 0.1000 0.0186
## 2 1.0282 nan 0.1000 0.0149
## 3 1.0035 nan 0.1000 0.0121
## 4 0.9832 nan 0.1000 0.0103
## 5 0.9640 nan 0.1000 0.0097
## 6 0.9471 nan 0.1000 0.0085
## 7 0.9339 nan 0.1000 0.0066
## 8 0.9184 nan 0.1000 0.0077
## 9 0.9087 nan 0.1000 0.0049
## 10 0.8959 nan 0.1000 0.0062
## 20 0.8137 nan 0.1000 0.0025
## 40 0.7360 nan 0.1000 0.0017
## 60 0.6956 nan 0.1000 0.0008
## 80 0.6705 nan 0.1000 0.0005
## 100 0.6545 nan 0.1000 0.0004
## 120 0.6433 nan 0.1000 0.0001
## 140 0.6350 nan 0.1000 0.0001
## 150 0.6323 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0437 nan 0.1000 0.0256
## 2 1.0041 nan 0.1000 0.0198
## 3 0.9712 nan 0.1000 0.0169
## 4 0.9436 nan 0.1000 0.0136
## 5 0.9141 nan 0.1000 0.0146
## 6 0.8910 nan 0.1000 0.0117
## 7 0.8714 nan 0.1000 0.0099
## 8 0.8559 nan 0.1000 0.0077
## 9 0.8437 nan 0.1000 0.0060
## 10 0.8308 nan 0.1000 0.0063
## 20 0.7500 nan 0.1000 0.0031
## 40 0.6765 nan 0.1000 0.0013
## 60 0.6467 nan 0.1000 0.0004
## 80 0.6303 nan 0.1000 0.0004
## 100 0.6186 nan 0.1000 0.0003
## 120 0.6107 nan 0.1000 0.0002
## 140 0.6045 nan 0.1000 -0.0000
## 150 0.6016 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0356 nan 0.1000 0.0296
## 2 0.9888 nan 0.1000 0.0231
## 3 0.9516 nan 0.1000 0.0188
## 4 0.9199 nan 0.1000 0.0155
## 5 0.8939 nan 0.1000 0.0129
## 6 0.8687 nan 0.1000 0.0121
## 7 0.8500 nan 0.1000 0.0092
## 8 0.8318 nan 0.1000 0.0090
## 9 0.8166 nan 0.1000 0.0075
## 10 0.8030 nan 0.1000 0.0068
## 20 0.7187 nan 0.1000 0.0035
## 40 0.6539 nan 0.1000 0.0005
## 60 0.6268 nan 0.1000 0.0007
## 80 0.6108 nan 0.1000 0.0002
## 100 0.6012 nan 0.1000 0.0001
## 120 0.5928 nan 0.1000 0.0002
## 140 0.5869 nan 0.1000 0.0001
## 150 0.5836 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0582 nan 0.1000 0.0184
## 2 1.0287 nan 0.1000 0.0148
## 3 1.0042 nan 0.1000 0.0121
## 4 0.9836 nan 0.1000 0.0102
## 5 0.9642 nan 0.1000 0.0096
## 6 0.9471 nan 0.1000 0.0084
## 7 0.9340 nan 0.1000 0.0064
## 8 0.9185 nan 0.1000 0.0076
## 9 0.9054 nan 0.1000 0.0063
## 10 0.8954 nan 0.1000 0.0049
## 20 0.8156 nan 0.1000 0.0034
## 40 0.7378 nan 0.1000 0.0009
## 60 0.6960 nan 0.1000 0.0008
## 80 0.6710 nan 0.1000 0.0004
## 100 0.6565 nan 0.1000 0.0003
## 120 0.6461 nan 0.1000 0.0003
## 140 0.6388 nan 0.1000 0.0002
## 150 0.6358 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0440 nan 0.1000 0.0261
## 2 1.0044 nan 0.1000 0.0196
## 3 0.9714 nan 0.1000 0.0165
## 4 0.9450 nan 0.1000 0.0131
## 5 0.9159 nan 0.1000 0.0144
## 6 0.8925 nan 0.1000 0.0117
## 7 0.8752 nan 0.1000 0.0085
## 8 0.8591 nan 0.1000 0.0080
## 9 0.8432 nan 0.1000 0.0078
## 10 0.8321 nan 0.1000 0.0056
## 20 0.7511 nan 0.1000 0.0032
## 40 0.6790 nan 0.1000 0.0011
## 60 0.6486 nan 0.1000 0.0005
## 80 0.6335 nan 0.1000 0.0002
## 100 0.6224 nan 0.1000 0.0000
## 120 0.6150 nan 0.1000 0.0001
## 140 0.6088 nan 0.1000 0.0001
## 150 0.6061 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0365 nan 0.1000 0.0290
## 2 0.9908 nan 0.1000 0.0231
## 3 0.9537 nan 0.1000 0.0187
## 4 0.9215 nan 0.1000 0.0159
## 5 0.8951 nan 0.1000 0.0131
## 6 0.8697 nan 0.1000 0.0124
## 7 0.8516 nan 0.1000 0.0090
## 8 0.8338 nan 0.1000 0.0089
## 9 0.8174 nan 0.1000 0.0083
## 10 0.8036 nan 0.1000 0.0067
## 20 0.7193 nan 0.1000 0.0026
## 40 0.6550 nan 0.1000 0.0009
## 60 0.6292 nan 0.1000 0.0003
## 80 0.6123 nan 0.1000 0.0001
## 100 0.6024 nan 0.1000 0.0001
## 120 0.5951 nan 0.1000 0.0001
## 140 0.5884 nan 0.1000 0.0000
## 150 0.5864 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0586 nan 0.1000 0.0186
## 2 1.0286 nan 0.1000 0.0150
## 3 1.0046 nan 0.1000 0.0122
## 4 0.9845 nan 0.1000 0.0102
## 5 0.9647 nan 0.1000 0.0098
## 6 0.9509 nan 0.1000 0.0068
## 7 0.9342 nan 0.1000 0.0083
## 8 0.9192 nan 0.1000 0.0078
## 9 0.9057 nan 0.1000 0.0064
## 10 0.8929 nan 0.1000 0.0063
## 20 0.8154 nan 0.1000 0.0024
## 40 0.7374 nan 0.1000 0.0015
## 60 0.6954 nan 0.1000 0.0005
## 80 0.6712 nan 0.1000 0.0003
## 100 0.6563 nan 0.1000 0.0006
## 120 0.6441 nan 0.1000 0.0002
## 140 0.6367 nan 0.1000 0.0001
## 150 0.6333 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0432 nan 0.1000 0.0260
## 2 1.0034 nan 0.1000 0.0197
## 3 0.9702 nan 0.1000 0.0164
## 4 0.9428 nan 0.1000 0.0136
## 5 0.9144 nan 0.1000 0.0143
## 6 0.8909 nan 0.1000 0.0113
## 7 0.8718 nan 0.1000 0.0095
## 8 0.8553 nan 0.1000 0.0081
## 9 0.8420 nan 0.1000 0.0067
## 10 0.8323 nan 0.1000 0.0047
## 20 0.7509 nan 0.1000 0.0026
## 40 0.6769 nan 0.1000 0.0010
## 60 0.6481 nan 0.1000 0.0003
## 80 0.6322 nan 0.1000 0.0002
## 100 0.6208 nan 0.1000 0.0003
## 120 0.6123 nan 0.1000 0.0002
## 140 0.6067 nan 0.1000 0.0001
## 150 0.6036 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0360 nan 0.1000 0.0296
## 2 0.9902 nan 0.1000 0.0234
## 3 0.9532 nan 0.1000 0.0181
## 4 0.9213 nan 0.1000 0.0162
## 5 0.8956 nan 0.1000 0.0128
## 6 0.8702 nan 0.1000 0.0127
## 7 0.8511 nan 0.1000 0.0094
## 8 0.8328 nan 0.1000 0.0090
## 9 0.8169 nan 0.1000 0.0076
## 10 0.8026 nan 0.1000 0.0070
## 20 0.7207 nan 0.1000 0.0027
## 40 0.6540 nan 0.1000 0.0012
## 60 0.6270 nan 0.1000 0.0003
## 80 0.6116 nan 0.1000 0.0001
## 100 0.6013 nan 0.1000 0.0000
## 120 0.5926 nan 0.1000 0.0000
## 140 0.5867 nan 0.1000 0.0000
## 150 0.5840 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0579 nan 0.1000 0.0188
## 2 1.0280 nan 0.1000 0.0152
## 3 1.0031 nan 0.1000 0.0124
## 4 0.9822 nan 0.1000 0.0103
## 5 0.9625 nan 0.1000 0.0099
## 6 0.9445 nan 0.1000 0.0085
## 7 0.9311 nan 0.1000 0.0067
## 8 0.9157 nan 0.1000 0.0079
## 9 0.9056 nan 0.1000 0.0049
## 10 0.8932 nan 0.1000 0.0063
## 20 0.8097 nan 0.1000 0.0031
## 40 0.7327 nan 0.1000 0.0011
## 60 0.6908 nan 0.1000 0.0009
## 80 0.6661 nan 0.1000 0.0006
## 100 0.6509 nan 0.1000 0.0002
## 120 0.6397 nan 0.1000 0.0003
## 140 0.6323 nan 0.1000 0.0001
## 150 0.6291 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0430 nan 0.1000 0.0267
## 2 1.0026 nan 0.1000 0.0202
## 3 0.9692 nan 0.1000 0.0167
## 4 0.9406 nan 0.1000 0.0138
## 5 0.9118 nan 0.1000 0.0146
## 6 0.8881 nan 0.1000 0.0117
## 7 0.8705 nan 0.1000 0.0088
## 8 0.8555 nan 0.1000 0.0074
## 9 0.8418 nan 0.1000 0.0066
## 10 0.8294 nan 0.1000 0.0061
## 20 0.7440 nan 0.1000 0.0027
## 40 0.6737 nan 0.1000 0.0009
## 60 0.6434 nan 0.1000 0.0004
## 80 0.6276 nan 0.1000 0.0001
## 100 0.6170 nan 0.1000 0.0001
## 120 0.6086 nan 0.1000 0.0001
## 140 0.6029 nan 0.1000 0.0001
## 150 0.6007 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0352 nan 0.1000 0.0296
## 2 0.9871 nan 0.1000 0.0239
## 3 0.9494 nan 0.1000 0.0193
## 4 0.9180 nan 0.1000 0.0157
## 5 0.8925 nan 0.1000 0.0126
## 6 0.8691 nan 0.1000 0.0115
## 7 0.8500 nan 0.1000 0.0093
## 8 0.8308 nan 0.1000 0.0095
## 9 0.8147 nan 0.1000 0.0080
## 10 0.7993 nan 0.1000 0.0076
## 20 0.7161 nan 0.1000 0.0031
## 40 0.6499 nan 0.1000 0.0008
## 60 0.6215 nan 0.1000 0.0005
## 80 0.6070 nan 0.1000 0.0001
## 100 0.5963 nan 0.1000 0.0001
## 120 0.5899 nan 0.1000 0.0000
## 140 0.5845 nan 0.1000 0.0003
## 150 0.5810 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0585 nan 0.1000 0.0186
## 2 1.0283 nan 0.1000 0.0150
## 3 1.0034 nan 0.1000 0.0121
## 4 0.9829 nan 0.1000 0.0102
## 5 0.9638 nan 0.1000 0.0097
## 6 0.9499 nan 0.1000 0.0071
## 7 0.9329 nan 0.1000 0.0083
## 8 0.9174 nan 0.1000 0.0077
## 9 0.9044 nan 0.1000 0.0064
## 10 0.8950 nan 0.1000 0.0048
## 20 0.8149 nan 0.1000 0.0023
## 40 0.7363 nan 0.1000 0.0012
## 60 0.6957 nan 0.1000 0.0008
## 80 0.6709 nan 0.1000 0.0003
## 100 0.6556 nan 0.1000 0.0005
## 120 0.6460 nan 0.1000 0.0001
## 140 0.6373 nan 0.1000 0.0001
## 150 0.6344 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0437 nan 0.1000 0.0259
## 2 1.0041 nan 0.1000 0.0196
## 3 0.9713 nan 0.1000 0.0163
## 4 0.9453 nan 0.1000 0.0131
## 5 0.9162 nan 0.1000 0.0147
## 6 0.8925 nan 0.1000 0.0119
## 7 0.8731 nan 0.1000 0.0098
## 8 0.8588 nan 0.1000 0.0073
## 9 0.8471 nan 0.1000 0.0058
## 10 0.8339 nan 0.1000 0.0066
## 20 0.7482 nan 0.1000 0.0033
## 40 0.6791 nan 0.1000 0.0007
## 60 0.6498 nan 0.1000 0.0006
## 80 0.6340 nan 0.1000 0.0004
## 100 0.6219 nan 0.1000 0.0001
## 120 0.6137 nan 0.1000 0.0000
## 140 0.6068 nan 0.1000 0.0002
## 150 0.6043 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0371 nan 0.1000 0.0291
## 2 0.9892 nan 0.1000 0.0238
## 3 0.9517 nan 0.1000 0.0186
## 4 0.9208 nan 0.1000 0.0154
## 5 0.8912 nan 0.1000 0.0147
## 6 0.8697 nan 0.1000 0.0107
## 7 0.8489 nan 0.1000 0.0102
## 8 0.8306 nan 0.1000 0.0089
## 9 0.8170 nan 0.1000 0.0066
## 10 0.8056 nan 0.1000 0.0055
## 20 0.7221 nan 0.1000 0.0018
## 40 0.6537 nan 0.1000 0.0006
## 60 0.6255 nan 0.1000 0.0004
## 80 0.6093 nan 0.1000 0.0003
## 100 0.5993 nan 0.1000 0.0000
## 120 0.5928 nan 0.1000 0.0001
## 140 0.5870 nan 0.1000 -0.0001
## 150 0.5845 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0580 nan 0.1000 0.0186
## 2 1.0284 nan 0.1000 0.0150
## 3 1.0034 nan 0.1000 0.0122
## 4 0.9831 nan 0.1000 0.0101
## 5 0.9685 nan 0.1000 0.0072
## 6 0.9494 nan 0.1000 0.0096
## 7 0.9327 nan 0.1000 0.0083
## 8 0.9172 nan 0.1000 0.0078
## 9 0.9041 nan 0.1000 0.0063
## 10 0.8911 nan 0.1000 0.0063
## 20 0.8149 nan 0.1000 0.0022
## 40 0.7350 nan 0.1000 0.0013
## 60 0.6951 nan 0.1000 0.0007
## 80 0.6696 nan 0.1000 0.0002
## 100 0.6547 nan 0.1000 0.0002
## 120 0.6433 nan 0.1000 0.0002
## 140 0.6357 nan 0.1000 0.0001
## 150 0.6325 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0432 nan 0.1000 0.0261
## 2 1.0034 nan 0.1000 0.0199
## 3 0.9708 nan 0.1000 0.0161
## 4 0.9355 nan 0.1000 0.0172
## 5 0.9081 nan 0.1000 0.0137
## 6 0.8892 nan 0.1000 0.0096
## 7 0.8691 nan 0.1000 0.0101
## 8 0.8535 nan 0.1000 0.0078
## 9 0.8403 nan 0.1000 0.0063
## 10 0.8286 nan 0.1000 0.0059
## 20 0.7466 nan 0.1000 0.0029
## 40 0.6757 nan 0.1000 0.0013
## 60 0.6467 nan 0.1000 0.0003
## 80 0.6310 nan 0.1000 0.0004
## 100 0.6190 nan 0.1000 0.0003
## 120 0.6105 nan 0.1000 0.0001
## 140 0.6041 nan 0.1000 0.0000
## 150 0.6020 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0352 nan 0.1000 0.0297
## 2 0.9910 nan 0.1000 0.0221
## 3 0.9520 nan 0.1000 0.0192
## 4 0.9209 nan 0.1000 0.0156
## 5 0.8949 nan 0.1000 0.0131
## 6 0.8734 nan 0.1000 0.0106
## 7 0.8518 nan 0.1000 0.0106
## 8 0.8331 nan 0.1000 0.0094
## 9 0.8178 nan 0.1000 0.0076
## 10 0.8051 nan 0.1000 0.0063
## 20 0.7192 nan 0.1000 0.0030
## 40 0.6520 nan 0.1000 0.0007
## 60 0.6260 nan 0.1000 0.0003
## 80 0.6105 nan 0.1000 0.0001
## 100 0.5997 nan 0.1000 0.0001
## 120 0.5928 nan 0.1000 0.0001
## 140 0.5877 nan 0.1000 0.0000
## 150 0.5846 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0581 nan 0.1000 0.0187
## 2 1.0283 nan 0.1000 0.0151
## 3 1.0030 nan 0.1000 0.0122
## 4 0.9827 nan 0.1000 0.0099
## 5 0.9635 nan 0.1000 0.0098
## 6 0.9496 nan 0.1000 0.0067
## 7 0.9333 nan 0.1000 0.0082
## 8 0.9179 nan 0.1000 0.0078
## 9 0.9046 nan 0.1000 0.0063
## 10 0.8916 nan 0.1000 0.0064
## 20 0.8132 nan 0.1000 0.0033
## 40 0.7348 nan 0.1000 0.0018
## 60 0.6939 nan 0.1000 0.0008
## 80 0.6701 nan 0.1000 0.0005
## 100 0.6539 nan 0.1000 0.0003
## 120 0.6446 nan 0.1000 0.0003
## 140 0.6360 nan 0.1000 0.0001
## 150 0.6332 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0429 nan 0.1000 0.0264
## 2 1.0034 nan 0.1000 0.0200
## 3 0.9702 nan 0.1000 0.0170
## 4 0.9434 nan 0.1000 0.0133
## 5 0.9140 nan 0.1000 0.0146
## 6 0.8907 nan 0.1000 0.0118
## 7 0.8713 nan 0.1000 0.0096
## 8 0.8562 nan 0.1000 0.0075
## 9 0.8419 nan 0.1000 0.0070
## 10 0.8307 nan 0.1000 0.0056
## 20 0.7492 nan 0.1000 0.0024
## 40 0.6763 nan 0.1000 0.0009
## 60 0.6458 nan 0.1000 0.0007
## 80 0.6305 nan 0.1000 0.0002
## 100 0.6191 nan 0.1000 0.0001
## 120 0.6114 nan 0.1000 0.0001
## 140 0.6048 nan 0.1000 0.0000
## 150 0.6018 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0366 nan 0.1000 0.0293
## 2 0.9886 nan 0.1000 0.0237
## 3 0.9516 nan 0.1000 0.0187
## 4 0.9193 nan 0.1000 0.0159
## 5 0.8936 nan 0.1000 0.0130
## 6 0.8684 nan 0.1000 0.0126
## 7 0.8497 nan 0.1000 0.0095
## 8 0.8314 nan 0.1000 0.0091
## 9 0.8182 nan 0.1000 0.0064
## 10 0.8054 nan 0.1000 0.0061
## 20 0.7195 nan 0.1000 0.0027
## 40 0.6526 nan 0.1000 0.0009
## 60 0.6265 nan 0.1000 0.0006
## 80 0.6108 nan 0.1000 0.0003
## 100 0.5995 nan 0.1000 0.0003
## 120 0.5920 nan 0.1000 0.0001
## 140 0.5856 nan 0.1000 0.0000
## 150 0.5833 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0588 nan 0.1000 0.0187
## 2 1.0282 nan 0.1000 0.0151
## 3 1.0037 nan 0.1000 0.0123
## 4 0.9837 nan 0.1000 0.0101
## 5 0.9639 nan 0.1000 0.0098
## 6 0.9499 nan 0.1000 0.0069
## 7 0.9339 nan 0.1000 0.0079
## 8 0.9186 nan 0.1000 0.0078
## 9 0.9087 nan 0.1000 0.0048
## 10 0.8955 nan 0.1000 0.0064
## 20 0.8145 nan 0.1000 0.0033
## 40 0.7372 nan 0.1000 0.0015
## 60 0.6971 nan 0.1000 0.0008
## 80 0.6717 nan 0.1000 0.0006
## 100 0.6566 nan 0.1000 0.0002
## 120 0.6451 nan 0.1000 0.0001
## 140 0.6369 nan 0.1000 0.0001
## 150 0.6341 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0438 nan 0.1000 0.0256
## 2 1.0041 nan 0.1000 0.0194
## 3 0.9705 nan 0.1000 0.0167
## 4 0.9440 nan 0.1000 0.0132
## 5 0.9153 nan 0.1000 0.0145
## 6 0.8912 nan 0.1000 0.0116
## 7 0.8717 nan 0.1000 0.0096
## 8 0.8576 nan 0.1000 0.0071
## 9 0.8437 nan 0.1000 0.0069
## 10 0.8317 nan 0.1000 0.0060
## 20 0.7500 nan 0.1000 0.0025
## 40 0.6773 nan 0.1000 0.0010
## 60 0.6483 nan 0.1000 0.0004
## 80 0.6320 nan 0.1000 0.0002
## 100 0.6223 nan 0.1000 0.0001
## 120 0.6129 nan 0.1000 0.0001
## 140 0.6073 nan 0.1000 0.0001
## 150 0.6038 nan 0.1000 0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0366 nan 0.1000 0.0298
## 2 0.9914 nan 0.1000 0.0227
## 3 0.9517 nan 0.1000 0.0200
## 4 0.9208 nan 0.1000 0.0152
## 5 0.8956 nan 0.1000 0.0126
## 6 0.8733 nan 0.1000 0.0112
## 7 0.8518 nan 0.1000 0.0109
## 8 0.8338 nan 0.1000 0.0091
## 9 0.8182 nan 0.1000 0.0077
## 10 0.8044 nan 0.1000 0.0066
## 20 0.7205 nan 0.1000 0.0030
## 40 0.6553 nan 0.1000 0.0009
## 60 0.6267 nan 0.1000 0.0005
## 80 0.6114 nan 0.1000 0.0006
## 100 0.6006 nan 0.1000 0.0003
## 120 0.5932 nan 0.1000 0.0000
## 140 0.5877 nan 0.1000 0.0000
## 150 0.5848 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0589 nan 0.1000 0.0184
## 2 1.0289 nan 0.1000 0.0149
## 3 1.0043 nan 0.1000 0.0121
## 4 0.9840 nan 0.1000 0.0108
## 5 0.9643 nan 0.1000 0.0096
## 6 0.9503 nan 0.1000 0.0071
## 7 0.9335 nan 0.1000 0.0084
## 8 0.9184 nan 0.1000 0.0076
## 9 0.9085 nan 0.1000 0.0049
## 10 0.8961 nan 0.1000 0.0064
## 20 0.8131 nan 0.1000 0.0032
## 40 0.7352 nan 0.1000 0.0011
## 60 0.6947 nan 0.1000 0.0005
## 80 0.6709 nan 0.1000 0.0007
## 100 0.6549 nan 0.1000 0.0004
## 120 0.6440 nan 0.1000 0.0001
## 140 0.6362 nan 0.1000 0.0003
## 150 0.6334 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0438 nan 0.1000 0.0259
## 2 1.0047 nan 0.1000 0.0196
## 3 0.9717 nan 0.1000 0.0167
## 4 0.9431 nan 0.1000 0.0136
## 5 0.9143 nan 0.1000 0.0142
## 6 0.8912 nan 0.1000 0.0117
## 7 0.8747 nan 0.1000 0.0081
## 8 0.8596 nan 0.1000 0.0073
## 9 0.8435 nan 0.1000 0.0079
## 10 0.8299 nan 0.1000 0.0069
## 20 0.7514 nan 0.1000 0.0020
## 40 0.6773 nan 0.1000 0.0008
## 60 0.6473 nan 0.1000 0.0004
## 80 0.6311 nan 0.1000 0.0004
## 100 0.6200 nan 0.1000 0.0001
## 120 0.6123 nan 0.1000 0.0001
## 140 0.6058 nan 0.1000 0.0002
## 150 0.6036 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0367 nan 0.1000 0.0294
## 2 0.9898 nan 0.1000 0.0235
## 3 0.9548 nan 0.1000 0.0176
## 4 0.9233 nan 0.1000 0.0157
## 5 0.8969 nan 0.1000 0.0130
## 6 0.8716 nan 0.1000 0.0128
## 7 0.8497 nan 0.1000 0.0108
## 8 0.8321 nan 0.1000 0.0091
## 9 0.8183 nan 0.1000 0.0066
## 10 0.8035 nan 0.1000 0.0072
## 20 0.7202 nan 0.1000 0.0025
## 40 0.6526 nan 0.1000 0.0010
## 60 0.6256 nan 0.1000 0.0004
## 80 0.6098 nan 0.1000 0.0002
## 100 0.6003 nan 0.1000 -0.0000
## 120 0.5918 nan 0.1000 0.0001
## 140 0.5863 nan 0.1000 0.0001
## 150 0.5838 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0577 nan 0.1000 0.0185
## 2 1.0273 nan 0.1000 0.0148
## 3 1.0032 nan 0.1000 0.0120
## 4 0.9825 nan 0.1000 0.0102
## 5 0.9642 nan 0.1000 0.0089
## 6 0.9451 nan 0.1000 0.0095
## 7 0.9317 nan 0.1000 0.0065
## 8 0.9165 nan 0.1000 0.0077
## 9 0.9033 nan 0.1000 0.0065
## 10 0.8935 nan 0.1000 0.0047
## 20 0.8113 nan 0.1000 0.0033
## 40 0.7342 nan 0.1000 0.0015
## 60 0.6921 nan 0.1000 0.0005
## 80 0.6674 nan 0.1000 0.0007
## 100 0.6519 nan 0.1000 0.0004
## 120 0.6409 nan 0.1000 0.0001
## 140 0.6341 nan 0.1000 0.0000
## 150 0.6305 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0431 nan 0.1000 0.0255
## 2 1.0036 nan 0.1000 0.0197
## 3 0.9705 nan 0.1000 0.0164
## 4 0.9430 nan 0.1000 0.0135
## 5 0.9134 nan 0.1000 0.0147
## 6 0.8945 nan 0.1000 0.0093
## 7 0.8736 nan 0.1000 0.0103
## 8 0.8568 nan 0.1000 0.0083
## 9 0.8431 nan 0.1000 0.0068
## 10 0.8296 nan 0.1000 0.0068
## 20 0.7481 nan 0.1000 0.0031
## 40 0.6746 nan 0.1000 0.0011
## 60 0.6438 nan 0.1000 0.0005
## 80 0.6291 nan 0.1000 0.0002
## 100 0.6172 nan 0.1000 0.0001
## 120 0.6090 nan 0.1000 0.0002
## 140 0.6017 nan 0.1000 0.0001
## 150 0.5993 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0361 nan 0.1000 0.0298
## 2 0.9893 nan 0.1000 0.0233
## 3 0.9519 nan 0.1000 0.0185
## 4 0.9192 nan 0.1000 0.0163
## 5 0.8928 nan 0.1000 0.0131
## 6 0.8705 nan 0.1000 0.0110
## 7 0.8487 nan 0.1000 0.0109
## 8 0.8336 nan 0.1000 0.0074
## 9 0.8190 nan 0.1000 0.0070
## 10 0.8032 nan 0.1000 0.0077
## 20 0.7153 nan 0.1000 0.0029
## 40 0.6495 nan 0.1000 0.0009
## 60 0.6226 nan 0.1000 0.0004
## 80 0.6080 nan 0.1000 0.0002
## 100 0.5976 nan 0.1000 0.0002
## 120 0.5888 nan 0.1000 0.0001
## 140 0.5837 nan 0.1000 0.0001
## 150 0.5811 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0580 nan 0.1000 0.0187
## 2 1.0276 nan 0.1000 0.0150
## 3 1.0034 nan 0.1000 0.0122
## 4 0.9832 nan 0.1000 0.0097
## 5 0.9634 nan 0.1000 0.0098
## 6 0.9463 nan 0.1000 0.0083
## 7 0.9331 nan 0.1000 0.0065
## 8 0.9175 nan 0.1000 0.0078
## 9 0.9041 nan 0.1000 0.0064
## 10 0.8918 nan 0.1000 0.0062
## 20 0.8138 nan 0.1000 0.0034
## 40 0.7352 nan 0.1000 0.0012
## 60 0.6944 nan 0.1000 0.0011
## 80 0.6704 nan 0.1000 0.0007
## 100 0.6559 nan 0.1000 0.0004
## 120 0.6445 nan 0.1000 0.0002
## 140 0.6364 nan 0.1000 0.0002
## 150 0.6337 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0437 nan 0.1000 0.0258
## 2 1.0026 nan 0.1000 0.0198
## 3 0.9692 nan 0.1000 0.0163
## 4 0.9418 nan 0.1000 0.0137
## 5 0.9128 nan 0.1000 0.0141
## 6 0.8896 nan 0.1000 0.0116
## 7 0.8699 nan 0.1000 0.0096
## 8 0.8556 nan 0.1000 0.0072
## 9 0.8404 nan 0.1000 0.0076
## 10 0.8310 nan 0.1000 0.0046
## 20 0.7502 nan 0.1000 0.0032
## 40 0.6768 nan 0.1000 0.0009
## 60 0.6461 nan 0.1000 0.0004
## 80 0.6303 nan 0.1000 0.0002
## 100 0.6198 nan 0.1000 0.0003
## 120 0.6112 nan 0.1000 0.0002
## 140 0.6053 nan 0.1000 0.0000
## 150 0.6025 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0356 nan 0.1000 0.0293
## 2 0.9890 nan 0.1000 0.0231
## 3 0.9507 nan 0.1000 0.0188
## 4 0.9195 nan 0.1000 0.0157
## 5 0.8943 nan 0.1000 0.0126
## 6 0.8718 nan 0.1000 0.0114
## 7 0.8525 nan 0.1000 0.0095
## 8 0.8340 nan 0.1000 0.0095
## 9 0.8184 nan 0.1000 0.0078
## 10 0.8068 nan 0.1000 0.0058
## 20 0.7227 nan 0.1000 0.0034
## 40 0.6531 nan 0.1000 0.0010
## 60 0.6266 nan 0.1000 0.0005
## 80 0.6107 nan 0.1000 0.0004
## 100 0.6016 nan 0.1000 0.0000
## 120 0.5928 nan 0.1000 0.0001
## 140 0.5878 nan 0.1000 0.0002
## 150 0.5858 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0581 nan 0.1000 0.0186
## 2 1.0290 nan 0.1000 0.0150
## 3 1.0044 nan 0.1000 0.0122
## 4 0.9839 nan 0.1000 0.0103
## 5 0.9644 nan 0.1000 0.0098
## 6 0.9501 nan 0.1000 0.0069
## 7 0.9333 nan 0.1000 0.0082
## 8 0.9180 nan 0.1000 0.0078
## 9 0.9078 nan 0.1000 0.0050
## 10 0.8954 nan 0.1000 0.0062
## 20 0.8121 nan 0.1000 0.0033
## 40 0.7347 nan 0.1000 0.0015
## 60 0.6944 nan 0.1000 0.0007
## 80 0.6690 nan 0.1000 0.0006
## 100 0.6535 nan 0.1000 0.0002
## 120 0.6427 nan 0.1000 0.0002
## 140 0.6344 nan 0.1000 0.0000
## 150 0.6313 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0447 nan 0.1000 0.0259
## 2 1.0046 nan 0.1000 0.0202
## 3 0.9711 nan 0.1000 0.0170
## 4 0.9442 nan 0.1000 0.0135
## 5 0.9151 nan 0.1000 0.0144
## 6 0.8918 nan 0.1000 0.0117
## 7 0.8743 nan 0.1000 0.0087
## 8 0.8583 nan 0.1000 0.0081
## 9 0.8421 nan 0.1000 0.0081
## 10 0.8298 nan 0.1000 0.0062
## 20 0.7475 nan 0.1000 0.0031
## 40 0.6756 nan 0.1000 0.0008
## 60 0.6462 nan 0.1000 0.0003
## 80 0.6286 nan 0.1000 0.0003
## 100 0.6184 nan 0.1000 0.0001
## 120 0.6094 nan 0.1000 0.0000
## 140 0.6031 nan 0.1000 0.0000
## 150 0.6003 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0355 nan 0.1000 0.0295
## 2 0.9890 nan 0.1000 0.0234
## 3 0.9514 nan 0.1000 0.0185
## 4 0.9186 nan 0.1000 0.0159
## 5 0.8930 nan 0.1000 0.0127
## 6 0.8702 nan 0.1000 0.0111
## 7 0.8479 nan 0.1000 0.0113
## 8 0.8301 nan 0.1000 0.0090
## 9 0.8170 nan 0.1000 0.0063
## 10 0.8044 nan 0.1000 0.0062
## 20 0.7174 nan 0.1000 0.0029
## 40 0.6523 nan 0.1000 0.0006
## 60 0.6258 nan 0.1000 0.0002
## 80 0.6097 nan 0.1000 0.0002
## 100 0.5988 nan 0.1000 -0.0000
## 120 0.5908 nan 0.1000 0.0002
## 140 0.5857 nan 0.1000 0.0000
## 150 0.5831 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0578 nan 0.1000 0.0189
## 2 1.0275 nan 0.1000 0.0152
## 3 1.0026 nan 0.1000 0.0124
## 4 0.9818 nan 0.1000 0.0101
## 5 0.9619 nan 0.1000 0.0099
## 6 0.9450 nan 0.1000 0.0084
## 7 0.9286 nan 0.1000 0.0080
## 8 0.9160 nan 0.1000 0.0066
## 9 0.9035 nan 0.1000 0.0063
## 10 0.8938 nan 0.1000 0.0048
## 20 0.8112 nan 0.1000 0.0033
## 40 0.7333 nan 0.1000 0.0012
## 60 0.6926 nan 0.1000 0.0005
## 80 0.6669 nan 0.1000 0.0007
## 100 0.6509 nan 0.1000 0.0002
## 120 0.6411 nan 0.1000 0.0001
## 140 0.6329 nan 0.1000 0.0003
## 150 0.6291 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0435 nan 0.1000 0.0261
## 2 1.0030 nan 0.1000 0.0200
## 3 0.9711 nan 0.1000 0.0158
## 4 0.9424 nan 0.1000 0.0144
## 5 0.9126 nan 0.1000 0.0147
## 6 0.8883 nan 0.1000 0.0118
## 7 0.8684 nan 0.1000 0.0097
## 8 0.8541 nan 0.1000 0.0072
## 9 0.8400 nan 0.1000 0.0069
## 10 0.8283 nan 0.1000 0.0057
## 20 0.7489 nan 0.1000 0.0027
## 40 0.6751 nan 0.1000 0.0012
## 60 0.6447 nan 0.1000 0.0004
## 80 0.6287 nan 0.1000 0.0002
## 100 0.6185 nan 0.1000 0.0001
## 120 0.6103 nan 0.1000 0.0001
## 140 0.6036 nan 0.1000 0.0001
## 150 0.6010 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0357 nan 0.1000 0.0296
## 2 0.9892 nan 0.1000 0.0237
## 3 0.9507 nan 0.1000 0.0189
## 4 0.9196 nan 0.1000 0.0156
## 5 0.8927 nan 0.1000 0.0135
## 6 0.8704 nan 0.1000 0.0110
## 7 0.8481 nan 0.1000 0.0110
## 8 0.8297 nan 0.1000 0.0090
## 9 0.8168 nan 0.1000 0.0064
## 10 0.8025 nan 0.1000 0.0068
## 20 0.7194 nan 0.1000 0.0031
## 40 0.6509 nan 0.1000 0.0012
## 60 0.6246 nan 0.1000 0.0001
## 80 0.6093 nan 0.1000 0.0002
## 100 0.5991 nan 0.1000 0.0001
## 120 0.5911 nan 0.1000 0.0000
## 140 0.5859 nan 0.1000 0.0000
## 150 0.5834 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0589 nan 0.1000 0.0186
## 2 1.0292 nan 0.1000 0.0150
## 3 1.0050 nan 0.1000 0.0122
## 4 0.9847 nan 0.1000 0.0100
## 5 0.9655 nan 0.1000 0.0098
## 6 0.9481 nan 0.1000 0.0084
## 7 0.9350 nan 0.1000 0.0067
## 8 0.9201 nan 0.1000 0.0078
## 9 0.9099 nan 0.1000 0.0050
## 10 0.8975 nan 0.1000 0.0061
## 20 0.8166 nan 0.1000 0.0023
## 40 0.7378 nan 0.1000 0.0011
## 60 0.6980 nan 0.1000 0.0013
## 80 0.6730 nan 0.1000 0.0005
## 100 0.6567 nan 0.1000 0.0002
## 120 0.6464 nan 0.1000 0.0002
## 140 0.6383 nan 0.1000 0.0001
## 150 0.6353 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0436 nan 0.1000 0.0256
## 2 1.0040 nan 0.1000 0.0196
## 3 0.9709 nan 0.1000 0.0166
## 4 0.9430 nan 0.1000 0.0136
## 5 0.9144 nan 0.1000 0.0144
## 6 0.8915 nan 0.1000 0.0115
## 7 0.8722 nan 0.1000 0.0096
## 8 0.8576 nan 0.1000 0.0073
## 9 0.8457 nan 0.1000 0.0058
## 10 0.8338 nan 0.1000 0.0061
## 20 0.7518 nan 0.1000 0.0033
## 40 0.6794 nan 0.1000 0.0011
## 60 0.6498 nan 0.1000 0.0005
## 80 0.6326 nan 0.1000 0.0003
## 100 0.6213 nan 0.1000 0.0001
## 120 0.6132 nan 0.1000 0.0001
## 140 0.6062 nan 0.1000 0.0001
## 150 0.6033 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0360 nan 0.1000 0.0292
## 2 0.9893 nan 0.1000 0.0232
## 3 0.9515 nan 0.1000 0.0186
## 4 0.9204 nan 0.1000 0.0154
## 5 0.8916 nan 0.1000 0.0140
## 6 0.8697 nan 0.1000 0.0108
## 7 0.8485 nan 0.1000 0.0107
## 8 0.8311 nan 0.1000 0.0087
## 9 0.8185 nan 0.1000 0.0061
## 10 0.8057 nan 0.1000 0.0063
## 20 0.7200 nan 0.1000 0.0028
## 40 0.6555 nan 0.1000 0.0010
## 60 0.6296 nan 0.1000 0.0006
## 80 0.6138 nan 0.1000 0.0002
## 100 0.6036 nan 0.1000 0.0003
## 120 0.5960 nan 0.1000 0.0000
## 140 0.5897 nan 0.1000 0.0000
## 150 0.5877 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0582 nan 0.1000 0.0186
## 2 1.0283 nan 0.1000 0.0150
## 3 1.0041 nan 0.1000 0.0122
## 4 0.9837 nan 0.1000 0.0105
## 5 0.9645 nan 0.1000 0.0098
## 6 0.9468 nan 0.1000 0.0086
## 7 0.9332 nan 0.1000 0.0064
## 8 0.9171 nan 0.1000 0.0078
## 9 0.9071 nan 0.1000 0.0049
## 10 0.8946 nan 0.1000 0.0062
## 20 0.8153 nan 0.1000 0.0026
## 40 0.7344 nan 0.1000 0.0015
## 60 0.6945 nan 0.1000 0.0005
## 80 0.6695 nan 0.1000 0.0005
## 100 0.6545 nan 0.1000 0.0003
## 120 0.6432 nan 0.1000 0.0002
## 140 0.6353 nan 0.1000 0.0001
## 150 0.6325 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0440 nan 0.1000 0.0261
## 2 1.0041 nan 0.1000 0.0200
## 3 0.9711 nan 0.1000 0.0165
## 4 0.9436 nan 0.1000 0.0137
## 5 0.9144 nan 0.1000 0.0147
## 6 0.8912 nan 0.1000 0.0120
## 7 0.8718 nan 0.1000 0.0098
## 8 0.8568 nan 0.1000 0.0074
## 9 0.8448 nan 0.1000 0.0059
## 10 0.8328 nan 0.1000 0.0059
## 20 0.7495 nan 0.1000 0.0029
## 40 0.6758 nan 0.1000 0.0007
## 60 0.6462 nan 0.1000 0.0006
## 80 0.6302 nan 0.1000 0.0004
## 100 0.6196 nan 0.1000 0.0001
## 120 0.6108 nan 0.1000 0.0001
## 140 0.6049 nan 0.1000 0.0000
## 150 0.6024 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0358 nan 0.1000 0.0294
## 2 0.9890 nan 0.1000 0.0233
## 3 0.9520 nan 0.1000 0.0184
## 4 0.9196 nan 0.1000 0.0165
## 5 0.8936 nan 0.1000 0.0127
## 6 0.8682 nan 0.1000 0.0127
## 7 0.8475 nan 0.1000 0.0100
## 8 0.8312 nan 0.1000 0.0081
## 9 0.8156 nan 0.1000 0.0078
## 10 0.8012 nan 0.1000 0.0072
## 20 0.7166 nan 0.1000 0.0031
## 40 0.6518 nan 0.1000 0.0010
## 60 0.6261 nan 0.1000 0.0004
## 80 0.6106 nan 0.1000 0.0003
## 100 0.6004 nan 0.1000 -0.0000
## 120 0.5923 nan 0.1000 0.0001
## 140 0.5868 nan 0.1000 0.0001
## 150 0.5843 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0589 nan 0.1000 0.0185
## 2 1.0286 nan 0.1000 0.0149
## 3 1.0049 nan 0.1000 0.0121
## 4 0.9847 nan 0.1000 0.0101
## 5 0.9653 nan 0.1000 0.0097
## 6 0.9479 nan 0.1000 0.0086
## 7 0.9346 nan 0.1000 0.0067
## 8 0.9193 nan 0.1000 0.0078
## 9 0.9093 nan 0.1000 0.0049
## 10 0.8966 nan 0.1000 0.0062
## 20 0.8168 nan 0.1000 0.0035
## 40 0.7368 nan 0.1000 0.0011
## 60 0.6972 nan 0.1000 0.0005
## 80 0.6714 nan 0.1000 0.0004
## 100 0.6563 nan 0.1000 0.0005
## 120 0.6463 nan 0.1000 0.0001
## 140 0.6381 nan 0.1000 0.0001
## 150 0.6349 nan 0.1000 0.0002
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0435 nan 0.1000 0.0261
## 2 1.0040 nan 0.1000 0.0196
## 3 0.9723 nan 0.1000 0.0155
## 4 0.9441 nan 0.1000 0.0141
## 5 0.9151 nan 0.1000 0.0146
## 6 0.8919 nan 0.1000 0.0116
## 7 0.8727 nan 0.1000 0.0096
## 8 0.8574 nan 0.1000 0.0077
## 9 0.8428 nan 0.1000 0.0073
## 10 0.8320 nan 0.1000 0.0053
## 20 0.7515 nan 0.1000 0.0028
## 40 0.6798 nan 0.1000 0.0006
## 60 0.6494 nan 0.1000 0.0003
## 80 0.6329 nan 0.1000 0.0001
## 100 0.6214 nan 0.1000 0.0001
## 120 0.6133 nan 0.1000 0.0003
## 140 0.6070 nan 0.1000 0.0001
## 150 0.6044 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0368 nan 0.1000 0.0299
## 2 0.9906 nan 0.1000 0.0228
## 3 0.9529 nan 0.1000 0.0187
## 4 0.9219 nan 0.1000 0.0157
## 5 0.8963 nan 0.1000 0.0130
## 6 0.8736 nan 0.1000 0.0111
## 7 0.8525 nan 0.1000 0.0105
## 8 0.8362 nan 0.1000 0.0079
## 9 0.8200 nan 0.1000 0.0080
## 10 0.8084 nan 0.1000 0.0059
## 20 0.7230 nan 0.1000 0.0021
## 40 0.6562 nan 0.1000 0.0009
## 60 0.6286 nan 0.1000 0.0002
## 80 0.6135 nan 0.1000 0.0002
## 100 0.6020 nan 0.1000 0.0002
## 120 0.5950 nan 0.1000 0.0001
## 140 0.5896 nan 0.1000 0.0001
## 150 0.5879 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0577 nan 0.1000 0.0186
## 2 1.0281 nan 0.1000 0.0150
## 3 1.0038 nan 0.1000 0.0122
## 4 0.9832 nan 0.1000 0.0105
## 5 0.9638 nan 0.1000 0.0097
## 6 0.9498 nan 0.1000 0.0072
## 7 0.9331 nan 0.1000 0.0083
## 8 0.9181 nan 0.1000 0.0077
## 9 0.9082 nan 0.1000 0.0049
## 10 0.8952 nan 0.1000 0.0062
## 20 0.8124 nan 0.1000 0.0034
## 40 0.7361 nan 0.1000 0.0010
## 60 0.6940 nan 0.1000 0.0005
## 80 0.6701 nan 0.1000 0.0003
## 100 0.6530 nan 0.1000 0.0004
## 120 0.6437 nan 0.1000 0.0000
## 140 0.6354 nan 0.1000 0.0000
## 150 0.6323 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0436 nan 0.1000 0.0258
## 2 1.0049 nan 0.1000 0.0197
## 3 0.9733 nan 0.1000 0.0155
## 4 0.9445 nan 0.1000 0.0144
## 5 0.9153 nan 0.1000 0.0148
## 6 0.8913 nan 0.1000 0.0120
## 7 0.8717 nan 0.1000 0.0098
## 8 0.8572 nan 0.1000 0.0072
## 9 0.8430 nan 0.1000 0.0070
## 10 0.8313 nan 0.1000 0.0060
## 20 0.7475 nan 0.1000 0.0037
## 40 0.6765 nan 0.1000 0.0012
## 60 0.6460 nan 0.1000 0.0002
## 80 0.6293 nan 0.1000 0.0001
## 100 0.6177 nan 0.1000 0.0002
## 120 0.6090 nan 0.1000 0.0001
## 140 0.6031 nan 0.1000 0.0000
## 150 0.6004 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0359 nan 0.1000 0.0297
## 2 0.9896 nan 0.1000 0.0233
## 3 0.9514 nan 0.1000 0.0191
## 4 0.9202 nan 0.1000 0.0158
## 5 0.8937 nan 0.1000 0.0128
## 6 0.8692 nan 0.1000 0.0123
## 7 0.8483 nan 0.1000 0.0104
## 8 0.8330 nan 0.1000 0.0076
## 9 0.8168 nan 0.1000 0.0082
## 10 0.8043 nan 0.1000 0.0063
## 20 0.7204 nan 0.1000 0.0030
## 40 0.6545 nan 0.1000 0.0009
## 60 0.6269 nan 0.1000 0.0004
## 80 0.6115 nan 0.1000 0.0000
## 100 0.6003 nan 0.1000 0.0002
## 120 0.5920 nan 0.1000 0.0000
## 140 0.5855 nan 0.1000 0.0000
## 150 0.5834 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0579 nan 0.1000 0.0188
## 2 1.0283 nan 0.1000 0.0151
## 3 1.0031 nan 0.1000 0.0124
## 4 0.9827 nan 0.1000 0.0099
## 5 0.9629 nan 0.1000 0.0099
## 6 0.9457 nan 0.1000 0.0087
## 7 0.9323 nan 0.1000 0.0066
## 8 0.9161 nan 0.1000 0.0078
## 9 0.9029 nan 0.1000 0.0063
## 10 0.8932 nan 0.1000 0.0049
## 20 0.8127 nan 0.1000 0.0034
## 40 0.7320 nan 0.1000 0.0015
## 60 0.6930 nan 0.1000 0.0012
## 80 0.6677 nan 0.1000 0.0005
## 100 0.6532 nan 0.1000 0.0002
## 120 0.6410 nan 0.1000 0.0002
## 140 0.6336 nan 0.1000 0.0001
## 150 0.6308 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0434 nan 0.1000 0.0264
## 2 1.0037 nan 0.1000 0.0202
## 3 0.9704 nan 0.1000 0.0168
## 4 0.9437 nan 0.1000 0.0133
## 5 0.9137 nan 0.1000 0.0149
## 6 0.8900 nan 0.1000 0.0118
## 7 0.8704 nan 0.1000 0.0099
## 8 0.8550 nan 0.1000 0.0076
## 9 0.8404 nan 0.1000 0.0072
## 10 0.8292 nan 0.1000 0.0057
## 20 0.7462 nan 0.1000 0.0034
## 40 0.6745 nan 0.1000 0.0009
## 60 0.6445 nan 0.1000 0.0006
## 80 0.6290 nan 0.1000 0.0002
## 100 0.6176 nan 0.1000 0.0001
## 120 0.6101 nan 0.1000 0.0001
## 140 0.6047 nan 0.1000 0.0001
## 150 0.6019 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0356 nan 0.1000 0.0300
## 2 0.9887 nan 0.1000 0.0236
## 3 0.9516 nan 0.1000 0.0185
## 4 0.9193 nan 0.1000 0.0162
## 5 0.8919 nan 0.1000 0.0132
## 6 0.8699 nan 0.1000 0.0112
## 7 0.8477 nan 0.1000 0.0109
## 8 0.8291 nan 0.1000 0.0090
## 9 0.8131 nan 0.1000 0.0078
## 10 0.8015 nan 0.1000 0.0055
## 20 0.7186 nan 0.1000 0.0032
## 40 0.6518 nan 0.1000 0.0009
## 60 0.6236 nan 0.1000 0.0003
## 80 0.6103 nan 0.1000 0.0002
## 100 0.5994 nan 0.1000 0.0001
## 120 0.5924 nan 0.1000 -0.0000
## 140 0.5860 nan 0.1000 0.0001
## 150 0.5836 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0578 nan 0.1000 0.0187
## 2 1.0276 nan 0.1000 0.0150
## 3 1.0029 nan 0.1000 0.0122
## 4 0.9828 nan 0.1000 0.0100
## 5 0.9631 nan 0.1000 0.0098
## 6 0.9492 nan 0.1000 0.0067
## 7 0.9331 nan 0.1000 0.0081
## 8 0.9176 nan 0.1000 0.0078
## 9 0.9050 nan 0.1000 0.0063
## 10 0.8951 nan 0.1000 0.0048
## 20 0.8148 nan 0.1000 0.0022
## 40 0.7354 nan 0.1000 0.0015
## 60 0.6953 nan 0.1000 0.0005
## 80 0.6709 nan 0.1000 0.0003
## 100 0.6559 nan 0.1000 0.0002
## 120 0.6441 nan 0.1000 0.0003
## 140 0.6361 nan 0.1000 0.0001
## 150 0.6332 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0439 nan 0.1000 0.0258
## 2 1.0049 nan 0.1000 0.0199
## 3 0.9711 nan 0.1000 0.0165
## 4 0.9446 nan 0.1000 0.0131
## 5 0.9152 nan 0.1000 0.0148
## 6 0.8917 nan 0.1000 0.0121
## 7 0.8721 nan 0.1000 0.0097
## 8 0.8574 nan 0.1000 0.0070
## 9 0.8433 nan 0.1000 0.0070
## 10 0.8319 nan 0.1000 0.0056
## 20 0.7507 nan 0.1000 0.0031
## 40 0.6784 nan 0.1000 0.0012
## 60 0.6484 nan 0.1000 0.0004
## 80 0.6309 nan 0.1000 0.0003
## 100 0.6197 nan 0.1000 0.0001
## 120 0.6108 nan 0.1000 0.0001
## 140 0.6050 nan 0.1000 0.0002
## 150 0.6028 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0363 nan 0.1000 0.0291
## 2 0.9890 nan 0.1000 0.0236
## 3 0.9518 nan 0.1000 0.0188
## 4 0.9205 nan 0.1000 0.0160
## 5 0.8954 nan 0.1000 0.0123
## 6 0.8732 nan 0.1000 0.0113
## 7 0.8542 nan 0.1000 0.0093
## 8 0.8382 nan 0.1000 0.0079
## 9 0.8214 nan 0.1000 0.0082
## 10 0.8061 nan 0.1000 0.0078
## 20 0.7234 nan 0.1000 0.0023
## 40 0.6544 nan 0.1000 0.0008
## 60 0.6275 nan 0.1000 0.0005
## 80 0.6109 nan 0.1000 0.0001
## 100 0.6005 nan 0.1000 0.0000
## 120 0.5926 nan 0.1000 0.0001
## 140 0.5870 nan 0.1000 0.0000
## 150 0.5850 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0590 nan 0.1000 0.0184
## 2 1.0286 nan 0.1000 0.0148
## 3 1.0044 nan 0.1000 0.0120
## 4 0.9842 nan 0.1000 0.0099
## 5 0.9653 nan 0.1000 0.0096
## 6 0.9481 nan 0.1000 0.0085
## 7 0.9321 nan 0.1000 0.0078
## 8 0.9192 nan 0.1000 0.0064
## 9 0.9057 nan 0.1000 0.0064
## 10 0.8962 nan 0.1000 0.0045
## 20 0.8155 nan 0.1000 0.0028
## 40 0.7380 nan 0.1000 0.0009
## 60 0.6962 nan 0.1000 0.0007
## 80 0.6712 nan 0.1000 0.0005
## 100 0.6558 nan 0.1000 0.0004
## 120 0.6448 nan 0.1000 0.0001
## 140 0.6378 nan 0.1000 0.0001
## 150 0.6350 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0434 nan 0.1000 0.0257
## 2 1.0038 nan 0.1000 0.0197
## 3 0.9706 nan 0.1000 0.0163
## 4 0.9440 nan 0.1000 0.0131
## 5 0.9148 nan 0.1000 0.0145
## 6 0.8919 nan 0.1000 0.0115
## 7 0.8761 nan 0.1000 0.0077
## 8 0.8603 nan 0.1000 0.0079
## 9 0.8440 nan 0.1000 0.0081
## 10 0.8321 nan 0.1000 0.0058
## 20 0.7496 nan 0.1000 0.0033
## 40 0.6781 nan 0.1000 0.0013
## 60 0.6477 nan 0.1000 0.0003
## 80 0.6314 nan 0.1000 0.0002
## 100 0.6196 nan 0.1000 0.0003
## 120 0.6113 nan 0.1000 0.0002
## 140 0.6053 nan 0.1000 0.0001
## 150 0.6032 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0359 nan 0.1000 0.0300
## 2 0.9894 nan 0.1000 0.0233
## 3 0.9526 nan 0.1000 0.0186
## 4 0.9219 nan 0.1000 0.0152
## 5 0.8947 nan 0.1000 0.0134
## 6 0.8693 nan 0.1000 0.0126
## 7 0.8506 nan 0.1000 0.0095
## 8 0.8321 nan 0.1000 0.0091
## 9 0.8166 nan 0.1000 0.0076
## 10 0.8025 nan 0.1000 0.0069
## 20 0.7209 nan 0.1000 0.0029
## 40 0.6554 nan 0.1000 0.0011
## 60 0.6288 nan 0.1000 0.0004
## 80 0.6132 nan 0.1000 0.0000
## 100 0.6023 nan 0.1000 0.0001
## 120 0.5950 nan 0.1000 0.0001
## 140 0.5891 nan 0.1000 0.0002
## 150 0.5868 nan 0.1000 -0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0576 nan 0.1000 0.0187
## 2 1.0279 nan 0.1000 0.0150
## 3 1.0032 nan 0.1000 0.0122
## 4 0.9830 nan 0.1000 0.0099
## 5 0.9636 nan 0.1000 0.0098
## 6 0.9496 nan 0.1000 0.0070
## 7 0.9326 nan 0.1000 0.0083
## 8 0.9171 nan 0.1000 0.0078
## 9 0.9043 nan 0.1000 0.0064
## 10 0.8947 nan 0.1000 0.0048
## 20 0.8137 nan 0.1000 0.0031
## 40 0.7345 nan 0.1000 0.0013
## 60 0.6933 nan 0.1000 0.0005
## 80 0.6692 nan 0.1000 0.0006
## 100 0.6525 nan 0.1000 0.0001
## 120 0.6413 nan 0.1000 0.0004
## 140 0.6345 nan 0.1000 0.0003
## 150 0.6303 nan 0.1000 0.0003
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0427 nan 0.1000 0.0261
## 2 1.0033 nan 0.1000 0.0197
## 3 0.9705 nan 0.1000 0.0164
## 4 0.9435 nan 0.1000 0.0138
## 5 0.9144 nan 0.1000 0.0144
## 6 0.8914 nan 0.1000 0.0119
## 7 0.8719 nan 0.1000 0.0096
## 8 0.8569 nan 0.1000 0.0073
## 9 0.8450 nan 0.1000 0.0059
## 10 0.8323 nan 0.1000 0.0065
## 20 0.7495 nan 0.1000 0.0031
## 40 0.6751 nan 0.1000 0.0008
## 60 0.6454 nan 0.1000 0.0005
## 80 0.6285 nan 0.1000 0.0003
## 100 0.6174 nan 0.1000 0.0001
## 120 0.6084 nan 0.1000 0.0001
## 140 0.6018 nan 0.1000 0.0001
## 150 0.5993 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0360 nan 0.1000 0.0294
## 2 0.9888 nan 0.1000 0.0230
## 3 0.9519 nan 0.1000 0.0185
## 4 0.9189 nan 0.1000 0.0165
## 5 0.8933 nan 0.1000 0.0127
## 6 0.8682 nan 0.1000 0.0125
## 7 0.8490 nan 0.1000 0.0095
## 8 0.8307 nan 0.1000 0.0090
## 9 0.8141 nan 0.1000 0.0084
## 10 0.8000 nan 0.1000 0.0069
## 20 0.7168 nan 0.1000 0.0026
## 40 0.6492 nan 0.1000 0.0008
## 60 0.6242 nan 0.1000 0.0004
## 80 0.6081 nan 0.1000 0.0002
## 100 0.5975 nan 0.1000 0.0002
## 120 0.5901 nan 0.1000 -0.0000
## 140 0.5841 nan 0.1000 0.0000
## 150 0.5819 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0578 nan 0.1000 0.0186
## 2 1.0282 nan 0.1000 0.0150
## 3 1.0042 nan 0.1000 0.0122
## 4 0.9839 nan 0.1000 0.0097
## 5 0.9644 nan 0.1000 0.0098
## 6 0.9472 nan 0.1000 0.0085
## 7 0.9340 nan 0.1000 0.0062
## 8 0.9178 nan 0.1000 0.0078
## 9 0.9043 nan 0.1000 0.0063
## 10 0.8947 nan 0.1000 0.0046
## 20 0.8143 nan 0.1000 0.0031
## 40 0.7347 nan 0.1000 0.0015
## 60 0.6947 nan 0.1000 0.0009
## 80 0.6698 nan 0.1000 0.0004
## 100 0.6542 nan 0.1000 0.0002
## 120 0.6424 nan 0.1000 0.0001
## 140 0.6347 nan 0.1000 0.0001
## 150 0.6316 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0443 nan 0.1000 0.0262
## 2 1.0046 nan 0.1000 0.0199
## 3 0.9716 nan 0.1000 0.0167
## 4 0.9439 nan 0.1000 0.0139
## 5 0.9151 nan 0.1000 0.0146
## 6 0.8917 nan 0.1000 0.0118
## 7 0.8721 nan 0.1000 0.0096
## 8 0.8574 nan 0.1000 0.0075
## 9 0.8452 nan 0.1000 0.0061
## 10 0.8324 nan 0.1000 0.0064
## 20 0.7493 nan 0.1000 0.0024
## 40 0.6751 nan 0.1000 0.0012
## 60 0.6458 nan 0.1000 0.0003
## 80 0.6286 nan 0.1000 0.0005
## 100 0.6166 nan 0.1000 0.0004
## 120 0.6092 nan 0.1000 0.0001
## 140 0.6020 nan 0.1000 0.0000
## 150 0.5996 nan 0.1000 0.0000
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0365 nan 0.1000 0.0300
## 2 0.9892 nan 0.1000 0.0232
## 3 0.9524 nan 0.1000 0.0183
## 4 0.9203 nan 0.1000 0.0161
## 5 0.8943 nan 0.1000 0.0131
## 6 0.8719 nan 0.1000 0.0110
## 7 0.8527 nan 0.1000 0.0094
## 8 0.8336 nan 0.1000 0.0094
## 9 0.8171 nan 0.1000 0.0080
## 10 0.8034 nan 0.1000 0.0068
## 20 0.7198 nan 0.1000 0.0023
## 40 0.6533 nan 0.1000 0.0008
## 60 0.6264 nan 0.1000 0.0002
## 80 0.6089 nan 0.1000 0.0003
## 100 0.5989 nan 0.1000 0.0001
## 120 0.5904 nan 0.1000 0.0001
## 140 0.5842 nan 0.1000 -0.0000
## 150 0.5822 nan 0.1000 0.0001
##
## Iter TrainDeviance ValidDeviance StepSize Improve
## 1 1.0364 nan 0.1000 0.0292
## 2 0.9899 nan 0.1000 0.0230
## 3 0.9530 nan 0.1000 0.0189
## 4 0.9207 nan 0.1000 0.0164
## 5 0.8942 nan 0.1000 0.0129
## 6 0.8729 nan 0.1000 0.0109
## 7 0.8514 nan 0.1000 0.0108
## 8 0.8331 nan 0.1000 0.0092
## 9 0.8200 nan 0.1000 0.0063
## 10 0.8074 nan 0.1000 0.0063
## 20 0.7214 nan 0.1000 0.0030
## 40 0.6544 nan 0.1000 0.0009
## 60 0.6264 nan 0.1000 0.0003
## 80 0.6110 nan 0.1000 0.0003
## 100 0.5996 nan 0.1000 0.0001
## 120 0.5926 nan 0.1000 0.0000
## 140 0.5873 nan 0.1000 -0.0000
## 150 0.5848 nan 0.1000 0.0001summary(boostingtrain)
## var rel.inf
## Married.civ.spouse Married.civ.spouse 36.52279385
## capital.gain capital.gain 19.98614726
## education.num education.num 19.43215771
## age age 6.59421528
## capital.loss capital.loss 6.30308676
## hours.per.week hours.per.week 4.36684944
## Exec.managerial Exec.managerial 2.06255757
## Wife Wife 0.69164792
## Prof.specialty Prof.specialty 0.61752910
## Farming.fishing Farming.fishing 0.55237470
## Self.emp.not.inc Self.emp.not.inc 0.49422938
## Other.service Other.service 0.41444610
## Male Male 0.39370763
## Tech.support Tech.support 0.32076657
## Married.AF.spouse Married.AF.spouse 0.17353512
## Sales Sales 0.16611691
## Local.gov Local.gov 0.14324173
## Not.in.family Not.in.family 0.13164689
## Self.emp.inc Self.emp.inc 0.09836303
## Machine.op.inspct Machine.op.inspct 0.09136793
## White White 0.08946089
## Protective.serv Protective.serv 0.08671965
## United.States United.States 0.07037183
## Handlers.cleaners Handlers.cleaners 0.06623173
## Own.child Own.child 0.05166759
## Philippines Philippines 0.04248981
## Widowed Widowed 0.01356904
## State.gov State.gov 0.01209187
## Transport.moving Transport.moving 0.01061673
## No.gain No.gain 0.00000000
## Private Private 0.00000000
## Married.spouse.absent Married.spouse.absent 0.00000000
## Never.married Never.married 0.00000000
## Separated Separated 0.00000000
## Armed.Forces Armed.Forces 0.00000000
## Craft.repair Craft.repair 0.00000000
## Priv.house.serv Priv.house.serv 0.00000000
## Other.relative Other.relative 0.00000000
## Unmarried Unmarried 0.00000000
## Asian.Pac.Islander Asian.Pac.Islander 0.00000000
## Black Black 0.00000000
## Other Other 0.00000000
## other_countries other_countries 0.00000000boostingtrain## Stochastic Gradient Boosting
##
## 32402 samples
## 43 predictor
## 2 classes: '<=50K', '>50K'
##
## No pre-processing
## Resampling: Cross-Validated (10 fold, repeated 5 times)
## Summary of sample sizes: 29162, 29161, 29162, 29162, 29162, 29162, ...
## Resampling results across tuning parameters:
##
## interaction.depth n.trees Accuracy Kappa
## 1 50 0.8431146 0.4816248
## 1 100 0.8524843 0.5377526
## 1 150 0.8540584 0.5478247
## 2 50 0.8532744 0.5423939
## 2 100 0.8570582 0.5620259
## 2 150 0.8604901 0.5781097
## 3 50 0.8552002 0.5510964
## 3 100 0.8612740 0.5805378
## 3 150 0.8642429 0.5933076
##
## Tuning parameter 'shrinkage' was held constant at a value of 0.1
##
## Tuning parameter 'n.minobsinnode' was held constant at a value of 10
## Accuracy was used to select the optimal model using the largest value.
## The final values used for the model were n.trees = 150,
## interaction.depth = 3, shrinkage = 0.1 and n.minobsinnode = 10.boostingtrain$bestTune## n.trees interaction.depth shrinkage n.minobsinnode
## 9 150 3 0.1 10boostingtrain$results## shrinkage interaction.depth n.minobsinnode n.trees Accuracy Kappa
## 1 0.1 1 10 50 0.8431146 0.4816248
## 4 0.1 2 10 50 0.8532744 0.5423939
## 7 0.1 3 10 50 0.8552002 0.5510964
## 2 0.1 1 10 100 0.8524843 0.5377526
## 5 0.1 2 10 100 0.8570582 0.5620259
## 8 0.1 3 10 100 0.8612740 0.5805378
## 3 0.1 1 10 150 0.8540584 0.5478247
## 6 0.1 2 10 150 0.8604901 0.5781097
## 9 0.1 3 10 150 0.8642429 0.5933076
## AccuracySD KappaSD
## 1 0.004809954 0.01989279
## 4 0.005088176 0.01718602
## 7 0.005030751 0.01692701
## 2 0.005360968 0.01868402
## 5 0.005063951 0.01689716
## 8 0.004921149 0.01572846
## 3 0.005253151 0.01767353
## 6 0.004820025 0.01558992
## 9 0.004983303 0.01554980boostingtrain$finalModel## A gradient boosted model with bernoulli loss function.
## 150 iterations were performed.
## There were 43 predictors of which 29 had non-zero influence.boostingtrain$resample## Accuracy Kappa Resample
## 1 0.8731481 0.6167872 Fold04.Rep5
## 2 0.8673249 0.6005170 Fold01.Rep4
## 3 0.8623457 0.5871899 Fold03.Rep5
## 4 0.8756173 0.6304083 Fold10.Rep3
## 5 0.8604938 0.5754363 Fold05.Rep5
## 6 0.8672840 0.6073511 Fold02.Rep5
## 7 0.8608454 0.5856595 Fold09.Rep3
## 8 0.8567901 0.5705294 Fold02.Rep4
## 9 0.8642394 0.5943947 Fold01.Rep5
## 10 0.8614198 0.5842108 Fold08.Rep3
## 11 0.8716049 0.6145822 Fold09.Rep2
## 12 0.8568343 0.5676637 Fold06.Rep5
## 13 0.8608025 0.5851871 Fold10.Rep4
## 14 0.8604938 0.5733285 Fold07.Rep3
## 15 0.8694444 0.6113164 Fold08.Rep2
## 16 0.8673249 0.6051431 Fold03.Rep4
## 17 0.8638889 0.5904222 Fold09.Rep4
## 18 0.8577160 0.5739284 Fold08.Rep4
## 19 0.8611540 0.5835627 Fold07.Rep2
## 20 0.8657407 0.5955996 Fold10.Rep2
## 21 0.8722222 0.6190340 Fold07.Rep5
## 22 0.8632716 0.5905646 Fold07.Rep4
## 23 0.8660907 0.5987596 Fold06.Rep2
## 24 0.8570988 0.5737375 Fold07.Rep1
## 25 0.8672840 0.6012228 Fold04.Rep4
## 26 0.8604938 0.5808202 Fold04.Rep3
## 27 0.8632716 0.5873554 Fold05.Rep2
## 28 0.8703704 0.6108762 Fold06.Rep1
## 29 0.8645480 0.5970731 Fold01.Rep3
## 30 0.8679012 0.6050041 Fold08.Rep5
## 31 0.8580247 0.5670664 Fold06.Rep3
## 32 0.8638889 0.5924131 Fold04.Rep2
## 33 0.8608025 0.5827651 Fold08.Rep1
## 34 0.8626543 0.5871106 Fold05.Rep4
## 35 0.8641975 0.5962809 Fold05.Rep3
## 36 0.8651235 0.5925450 Fold03.Rep2
## 37 0.8663580 0.5982447 Fold04.Rep1
## 38 0.8614198 0.5901983 Fold02.Rep3
## 39 0.8657407 0.5952038 Fold09.Rep5
## 40 0.8580247 0.5771138 Fold02.Rep2
## 41 0.8645062 0.5954414 Fold03.Rep1
## 42 0.8707189 0.6131911 Fold09.Rep1
## 43 0.8719136 0.6138151 Fold06.Rep4
## 44 0.8558642 0.5671205 Fold01.Rep2
## 45 0.8651651 0.5957897 Fold02.Rep1
## 46 0.8558642 0.5666981 Fold05.Rep1
## 47 0.8688272 0.6113568 Fold03.Rep3
## 48 0.8570988 0.5849905 Fold10.Rep5
## 49 0.8688272 0.6102321 Fold10.Rep1
## 50 0.8700617 0.6101397 Fold01.Rep1boostingtrain$resampledCM## shrinkage interaction.depth n.minobsinnode n.trees cell1 cell2 cell3
## 1 0.1 1 10 150 2357 115 352
## 2 0.1 1 10 50 2402 70 427
## 3 0.1 1 10 100 2364 108 363
## 4 0.1 2 10 150 2355 117 313
## 5 0.1 2 10 50 2363 109 362
## 6 0.1 2 10 100 2362 110 334
## 7 0.1 3 10 150 2349 123 298
## 8 0.1 3 10 50 2359 113 355
## 9 0.1 3 10 100 2354 118 320
## 10 0.1 1 10 150 2354 118 356
## 11 0.1 1 10 50 2404 68 458
## 12 0.1 1 10 100 2363 109 371
## 13 0.1 2 10 150 2340 132 324
## 14 0.1 2 10 50 2366 106 361
## 15 0.1 2 10 100 2349 123 340
## 16 0.1 3 10 150 2341 131 306
## 17 0.1 3 10 50 2356 116 354
## 18 0.1 3 10 100 2338 134 318
## 19 0.1 1 10 150 2365 107 357
## 20 0.1 1 10 50 2405 67 440
## 21 0.1 1 10 100 2382 90 372
## 22 0.1 2 10 150 2345 127 322
## 23 0.1 2 10 50 2374 98 368
## 24 0.1 2 10 100 2360 112 346
## 25 0.1 3 10 150 2335 137 302
## 26 0.1 3 10 50 2370 102 360
## 27 0.1 3 10 100 2342 130 320
## 28 0.1 1 10 150 2340 132 353
## 29 0.1 1 10 50 2401 71 428
## 30 0.1 1 10 100 2352 120 369
## 31 0.1 2 10 150 2341 131 322
## 32 0.1 2 10 50 2344 128 360
## 33 0.1 2 10 100 2339 133 338
## 34 0.1 3 10 150 2345 127 306
## 35 0.1 3 10 50 2347 125 356
## 36 0.1 3 10 100 2345 127 325
## 37 0.1 1 10 150 2343 129 371
## 38 0.1 1 10 50 2394 78 437
## 39 0.1 1 10 100 2346 126 374
## 40 0.1 2 10 150 2325 147 331
## 41 0.1 2 10 50 2345 127 370
## 42 0.1 2 10 100 2343 129 353
## 43 0.1 3 10 150 2328 144 323
## 44 0.1 3 10 50 2343 129 363
## 45 0.1 3 10 100 2331 141 336
## 46 0.1 1 10 150 2360 112 347
## 47 0.1 1 10 50 2404 68 435
## 48 0.1 1 10 100 2368 104 359
## 49 0.1 2 10 150 2346 126 311
## 50 0.1 2 10 50 2362 110 359
## 51 0.1 2 10 100 2349 123 336
## 52 0.1 3 10 150 2350 122 298
## 53 0.1 3 10 50 2362 110 347
## 54 0.1 3 10 100 2351 121 311
## 55 0.1 1 10 150 2347 125 364
## 56 0.1 1 10 50 2360 112 426
## 57 0.1 1 10 100 2354 118 374
## 58 0.1 2 10 150 2324 148 323
## 59 0.1 2 10 50 2342 130 359
## 60 0.1 2 10 100 2333 139 341
## 61 0.1 3 10 150 2322 150 313
## 62 0.1 3 10 50 2342 130 357
## 63 0.1 3 10 100 2329 143 327
## 64 0.1 1 10 150 2354 118 362
## 65 0.1 1 10 50 2408 64 449
## 66 0.1 1 10 100 2373 99 391
## 67 0.1 2 10 150 2341 131 330
## 68 0.1 2 10 50 2368 104 378
## 69 0.1 2 10 100 2349 123 348
## 70 0.1 3 10 150 2333 139 312
## 71 0.1 3 10 50 2362 110 366
## 72 0.1 3 10 100 2346 126 321
## 73 0.1 1 10 150 2364 108 360
## 74 0.1 1 10 50 2410 62 438
## 75 0.1 1 10 100 2371 101 373
## 76 0.1 2 10 150 2352 120 314
## 77 0.1 2 10 50 2372 100 366
## 78 0.1 2 10 100 2360 112 336
## 79 0.1 3 10 150 2348 124 295
## 80 0.1 3 10 50 2366 106 350
## 81 0.1 3 10 100 2350 122 317
## 82 0.1 1 10 150 2365 107 347
## 83 0.1 1 10 50 2403 69 429
## 84 0.1 1 10 100 2374 98 358
## 85 0.1 2 10 150 2337 135 309
## 86 0.1 2 10 50 2371 101 356
## 87 0.1 2 10 100 2355 117 335
## 88 0.1 3 10 150 2337 135 290
## 89 0.1 3 10 50 2367 105 352
## 90 0.1 3 10 100 2345 127 308
## 91 0.1 1 10 150 2352 120 367
## 92 0.1 1 10 50 2403 69 457
## 93 0.1 1 10 100 2364 108 393
## 94 0.1 2 10 150 2330 142 332
## 95 0.1 2 10 50 2361 111 379
## 96 0.1 2 10 100 2339 133 352
## 97 0.1 3 10 150 2327 145 322
## 98 0.1 3 10 50 2351 121 368
## 99 0.1 3 10 100 2334 138 334
## 100 0.1 1 10 150 2336 136 361
## 101 0.1 1 10 50 2387 85 434
## 102 0.1 1 10 100 2343 129 374
## 103 0.1 2 10 150 2323 149 317
## 104 0.1 2 10 50 2342 130 367
## 105 0.1 2 10 100 2333 139 348
## 106 0.1 3 10 150 2322 150 310
## 107 0.1 3 10 50 2342 130 360
## 108 0.1 3 10 100 2325 147 324
## 109 0.1 1 10 150 2354 118 353
## 110 0.1 1 10 50 2402 70 425
## 111 0.1 1 10 100 2362 110 363
## 112 0.1 2 10 150 2351 121 328
## 113 0.1 2 10 50 2359 113 357
## 114 0.1 2 10 100 2356 116 333
## 115 0.1 3 10 150 2348 124 313
## 116 0.1 3 10 50 2360 112 351
## 117 0.1 3 10 100 2351 121 321
## 118 0.1 1 10 150 2361 111 353
## 119 0.1 1 10 50 2399 73 426
## 120 0.1 1 10 100 2365 107 363
## 121 0.1 2 10 150 2342 130 315
## 122 0.1 2 10 50 2360 112 360
## 123 0.1 2 10 100 2351 121 336
## 124 0.1 3 10 150 2337 135 306
## 125 0.1 3 10 50 2359 113 357
## 126 0.1 3 10 100 2343 129 315
## 127 0.1 1 10 150 2348 124 365
## 128 0.1 1 10 50 2396 76 440
## 129 0.1 1 10 100 2356 116 373
## 130 0.1 2 10 150 2344 128 323
## 131 0.1 2 10 50 2359 113 371
## 132 0.1 2 10 100 2349 123 351
## 133 0.1 3 10 150 2344 128 315
## 134 0.1 3 10 50 2355 117 361
## 135 0.1 3 10 100 2346 126 326
## 136 0.1 1 10 150 2364 108 344
## 137 0.1 1 10 50 2404 68 428
## 138 0.1 1 10 100 2370 102 356
## 139 0.1 2 10 150 2339 133 315
## 140 0.1 2 10 50 2365 107 354
## 141 0.1 2 10 100 2346 126 333
## 142 0.1 3 10 150 2342 130 304
## 143 0.1 3 10 50 2359 113 344
## 144 0.1 3 10 100 2343 129 314
## 145 0.1 1 10 150 2353 119 366
## 146 0.1 1 10 50 2399 73 428
## 147 0.1 1 10 100 2368 104 379
## 148 0.1 2 10 150 2335 137 329
## 149 0.1 2 10 50 2351 121 365
## 150 0.1 2 10 100 2348 124 346
## 151 0.1 3 10 150 2335 137 313
## 152 0.1 3 10 50 2349 123 357
## 153 0.1 3 10 100 2339 133 328
## 154 0.1 1 10 150 2354 118 344
## 155 0.1 1 10 50 2408 64 445
## 156 0.1 1 10 100 2361 111 360
## 157 0.1 2 10 150 2344 128 313
## 158 0.1 2 10 50 2367 105 355
## 159 0.1 2 10 100 2350 122 327
## 160 0.1 3 10 150 2340 132 291
## 161 0.1 3 10 50 2363 109 340
## 162 0.1 3 10 100 2346 126 309
## 163 0.1 1 10 150 2368 104 360
## 164 0.1 1 10 50 2416 56 429
## 165 0.1 1 10 100 2379 93 370
## 166 0.1 2 10 150 2349 123 314
## 167 0.1 2 10 50 2374 98 370
## 168 0.1 2 10 100 2356 116 340
## 169 0.1 3 10 150 2352 120 296
## 170 0.1 3 10 50 2372 100 361
## 171 0.1 3 10 100 2353 119 317
## 172 0.1 1 10 150 2368 104 355
## 173 0.1 1 10 50 2405 67 456
## 174 0.1 1 10 100 2372 100 371
## 175 0.1 2 10 150 2345 127 322
## 176 0.1 2 10 50 2368 104 364
## 177 0.1 2 10 100 2362 110 341
## 178 0.1 3 10 150 2346 126 309
## 179 0.1 3 10 50 2372 100 359
## 180 0.1 3 10 100 2350 122 315
## 181 0.1 1 10 150 2350 122 337
## 182 0.1 1 10 50 2362 110 385
## 183 0.1 1 10 100 2353 119 349
## 184 0.1 2 10 150 2340 132 312
## 185 0.1 2 10 50 2349 123 342
## 186 0.1 2 10 100 2345 127 323
## 187 0.1 3 10 150 2332 140 299
## 188 0.1 3 10 50 2348 124 329
## 189 0.1 3 10 100 2337 135 309
## 190 0.1 1 10 150 2345 127 336
## 191 0.1 1 10 50 2388 84 427
## 192 0.1 1 10 100 2358 114 355
## 193 0.1 2 10 150 2329 143 308
## 194 0.1 2 10 50 2355 117 345
## 195 0.1 2 10 100 2342 130 320
## 196 0.1 3 10 150 2320 152 297
## 197 0.1 3 10 50 2351 121 336
## 198 0.1 3 10 100 2331 141 303
## 199 0.1 1 10 150 2355 117 336
## 200 0.1 1 10 50 2409 63 438
## 201 0.1 1 10 100 2365 107 356
## 202 0.1 2 10 150 2347 125 303
## 203 0.1 2 10 50 2362 110 355
## 204 0.1 2 10 100 2349 123 324
## 205 0.1 3 10 150 2334 138 287
## 206 0.1 3 10 50 2360 112 341
## 207 0.1 3 10 100 2342 130 304
## 208 0.1 1 10 150 2349 123 366
## 209 0.1 1 10 50 2404 68 453
## 210 0.1 1 10 100 2363 109 383
## 211 0.1 2 10 150 2343 129 327
## 212 0.1 2 10 50 2360 112 385
## 213 0.1 2 10 100 2346 126 341
## 214 0.1 3 10 150 2335 137 315
## 215 0.1 3 10 50 2355 117 366
## 216 0.1 3 10 100 2339 133 325
## 217 0.1 1 10 150 2345 127 356
## 218 0.1 1 10 50 2390 82 433
## 219 0.1 1 10 100 2346 126 363
## 220 0.1 2 10 150 2333 139 313
## 221 0.1 2 10 50 2346 126 356
## 222 0.1 2 10 100 2340 132 335
## 223 0.1 3 10 150 2330 142 298
## 224 0.1 3 10 50 2344 128 351
## 225 0.1 3 10 100 2336 136 315
## 226 0.1 1 10 150 2367 105 392
## 227 0.1 1 10 50 2409 63 469
## 228 0.1 1 10 100 2379 93 409
## 229 0.1 2 10 150 2352 120 353
## 230 0.1 2 10 50 2375 97 404
## 231 0.1 2 10 100 2360 112 375
## 232 0.1 3 10 150 2346 126 334
## 233 0.1 3 10 50 2367 105 391
## 234 0.1 3 10 100 2353 119 352
## 235 0.1 1 10 150 2365 107 389
## 236 0.1 1 10 50 2413 59 464
## 237 0.1 1 10 100 2375 97 396
## 238 0.1 2 10 150 2352 120 351
## 239 0.1 2 10 50 2375 97 389
## 240 0.1 2 10 100 2352 120 365
## 241 0.1 3 10 150 2353 119 333
## 242 0.1 3 10 50 2376 96 383
## 243 0.1 3 10 100 2356 116 350
## 244 0.1 1 10 150 2366 106 351
## 245 0.1 1 10 50 2410 62 431
## 246 0.1 1 10 100 2376 96 366
## 247 0.1 2 10 150 2348 124 327
## 248 0.1 2 10 50 2374 98 361
## 249 0.1 2 10 100 2359 113 339
## 250 0.1 3 10 150 2335 137 312
## 251 0.1 3 10 50 2373 99 354
## 252 0.1 3 10 100 2346 126 326
## 253 0.1 1 10 150 2346 126 355
## 254 0.1 1 10 50 2373 99 400
## 255 0.1 1 10 100 2356 116 365
## 256 0.1 2 10 150 2331 141 326
## 257 0.1 2 10 50 2351 121 359
## 258 0.1 2 10 100 2337 135 342
## 259 0.1 3 10 150 2327 145 306
## 260 0.1 3 10 50 2354 118 352
## 261 0.1 3 10 100 2323 149 321
## 262 0.1 1 10 150 2361 111 344
## 263 0.1 1 10 50 2400 72 418
## 264 0.1 1 10 100 2370 102 360
## 265 0.1 2 10 150 2357 115 305
## 266 0.1 2 10 50 2372 100 359
## 267 0.1 2 10 100 2357 115 333
## 268 0.1 3 10 150 2348 124 279
## 269 0.1 3 10 50 2367 105 354
## 270 0.1 3 10 100 2362 110 300
## 271 0.1 1 10 150 2365 107 360
## 272 0.1 1 10 50 2408 64 436
## 273 0.1 1 10 100 2369 103 364
## 274 0.1 2 10 150 2344 128 315
## 275 0.1 2 10 50 2364 108 352
## 276 0.1 2 10 100 2356 116 339
## 277 0.1 3 10 150 2349 123 307
## 278 0.1 3 10 50 2365 107 350
## 279 0.1 3 10 100 2353 119 319
## 280 0.1 1 10 150 2347 125 376
## 281 0.1 1 10 50 2399 73 479
## 282 0.1 1 10 100 2354 118 390
## 283 0.1 2 10 150 2325 147 335
## 284 0.1 2 10 50 2354 118 385
## 285 0.1 2 10 100 2336 136 361
## 286 0.1 3 10 150 2327 145 319
## 287 0.1 3 10 50 2346 126 373
## 288 0.1 3 10 100 2326 146 335
## 289 0.1 1 10 150 2357 115 349
## 290 0.1 1 10 50 2408 64 431
## 291 0.1 1 10 100 2371 101 355
## 292 0.1 2 10 150 2339 133 309
## 293 0.1 2 10 50 2370 102 355
## 294 0.1 2 10 100 2352 120 328
## 295 0.1 3 10 150 2337 135 295
## 296 0.1 3 10 50 2363 109 339
## 297 0.1 3 10 100 2346 126 305
## 298 0.1 1 10 150 2365 107 358
## 299 0.1 1 10 50 2378 94 414
## 300 0.1 1 10 100 2375 97 382
## 301 0.1 2 10 150 2356 116 325
## 302 0.1 2 10 50 2369 103 368
## 303 0.1 2 10 100 2365 107 340
## 304 0.1 3 10 150 2346 126 304
## 305 0.1 3 10 50 2368 104 360
## 306 0.1 3 10 100 2349 123 318
## 307 0.1 1 10 150 2365 107 354
## 308 0.1 1 10 50 2400 72 441
## 309 0.1 1 10 100 2364 108 373
## 310 0.1 2 10 150 2343 129 323
## 311 0.1 2 10 50 2359 113 365
## 312 0.1 2 10 100 2353 119 341
## 313 0.1 3 10 150 2339 133 312
## 314 0.1 3 10 50 2358 114 354
## 315 0.1 3 10 100 2350 122 323
## 316 0.1 1 10 150 2365 107 336
## 317 0.1 1 10 50 2417 55 429
## 318 0.1 1 10 100 2376 96 356
## 319 0.1 2 10 150 2358 114 303
## 320 0.1 2 10 50 2370 102 351
## 321 0.1 2 10 100 2353 119 316
## 322 0.1 3 10 150 2357 115 300
## 323 0.1 3 10 50 2362 110 341
## 324 0.1 3 10 100 2359 113 305
## 325 0.1 1 10 150 2349 123 345
## 326 0.1 1 10 50 2395 77 422
## 327 0.1 1 10 100 2362 110 356
## 328 0.1 2 10 150 2339 133 321
## 329 0.1 2 10 50 2358 114 351
## 330 0.1 2 10 100 2346 126 329
## 331 0.1 3 10 150 2336 136 307
## 332 0.1 3 10 50 2360 112 340
## 333 0.1 3 10 100 2335 137 317
## 334 0.1 1 10 150 2351 121 372
## 335 0.1 1 10 50 2393 79 465
## 336 0.1 1 10 100 2353 119 388
## 337 0.1 2 10 150 2335 137 325
## 338 0.1 2 10 50 2351 121 378
## 339 0.1 2 10 100 2348 124 359
## 340 0.1 3 10 150 2327 145 316
## 341 0.1 3 10 50 2350 122 368
## 342 0.1 3 10 100 2335 137 330
## 343 0.1 1 10 150 2357 115 348
## 344 0.1 1 10 50 2399 73 422
## 345 0.1 1 10 100 2367 105 358
## 346 0.1 2 10 150 2341 131 327
## 347 0.1 2 10 50 2361 111 359
## 348 0.1 2 10 100 2349 123 345
## 349 0.1 3 10 150 2342 130 311
## 350 0.1 3 10 50 2359 113 352
## 351 0.1 3 10 100 2349 123 327
## 352 0.1 1 10 150 2341 131 367
## 353 0.1 1 10 50 2387 85 436
## 354 0.1 1 10 100 2349 123 381
## 355 0.1 2 10 150 2332 140 330
## 356 0.1 2 10 50 2346 126 377
## 357 0.1 2 10 100 2337 135 350
## 358 0.1 3 10 150 2327 145 306
## 359 0.1 3 10 50 2344 128 367
## 360 0.1 3 10 100 2332 140 328
## 361 0.1 1 10 150 2352 120 355
## 362 0.1 1 10 50 2398 74 436
## 363 0.1 1 10 100 2364 108 369
## 364 0.1 2 10 150 2347 125 331
## 365 0.1 2 10 50 2364 108 367
## 366 0.1 2 10 100 2349 123 348
## 367 0.1 3 10 150 2336 136 304
## 368 0.1 3 10 50 2355 117 360
## 369 0.1 3 10 100 2343 129 330
## 370 0.1 1 10 150 2357 115 343
## 371 0.1 1 10 50 2401 71 424
## 372 0.1 1 10 100 2363 109 350
## 373 0.1 2 10 150 2342 130 309
## 374 0.1 2 10 50 2361 111 338
## 375 0.1 2 10 100 2350 122 320
## 376 0.1 3 10 150 2330 142 288
## 377 0.1 3 10 50 2358 114 329
## 378 0.1 3 10 100 2337 135 304
## 379 0.1 1 10 150 2348 124 364
## 380 0.1 1 10 50 2398 74 449
## 381 0.1 1 10 100 2357 115 379
## 382 0.1 2 10 150 2339 133 335
## 383 0.1 2 10 50 2358 114 378
## 384 0.1 2 10 100 2346 126 353
## 385 0.1 3 10 150 2336 136 310
## 386 0.1 3 10 50 2348 124 361
## 387 0.1 3 10 100 2336 136 323
## 388 0.1 1 10 150 2378 94 349
## 389 0.1 1 10 50 2414 58 438
## 390 0.1 1 10 100 2380 92 363
## 391 0.1 2 10 150 2364 108 320
## 392 0.1 2 10 50 2380 92 360
## 393 0.1 2 10 100 2376 96 335
## 394 0.1 3 10 150 2361 111 300
## 395 0.1 3 10 50 2376 96 348
## 396 0.1 3 10 100 2359 113 316
## 397 0.1 1 10 150 2356 116 375
## 398 0.1 1 10 50 2411 61 447
## 399 0.1 1 10 100 2364 108 390
## 400 0.1 2 10 150 2343 129 348
## 401 0.1 2 10 50 2357 115 378
## 402 0.1 2 10 100 2345 127 358
## 403 0.1 3 10 150 2348 124 328
## 404 0.1 3 10 50 2359 113 372
## 405 0.1 3 10 100 2351 121 344
## 406 0.1 1 10 150 2365 107 383
## 407 0.1 1 10 50 2404 68 467
## 408 0.1 1 10 100 2371 101 397
## 409 0.1 2 10 150 2342 130 344
## 410 0.1 2 10 50 2362 110 387
## 411 0.1 2 10 100 2353 119 369
## 412 0.1 3 10 150 2335 137 327
## 413 0.1 3 10 50 2367 105 385
## 414 0.1 3 10 100 2343 129 338
## 415 0.1 1 10 150 2380 92 336
## 416 0.1 1 10 50 2410 62 418
## 417 0.1 1 10 100 2384 88 343
## 418 0.1 2 10 150 2350 122 305
## 419 0.1 2 10 50 2384 88 342
## 420 0.1 2 10 100 2366 106 325
## 421 0.1 3 10 150 2346 126 288
## 422 0.1 3 10 50 2379 93 336
## 423 0.1 3 10 100 2357 115 304
## 424 0.1 1 10 150 2356 116 361
## 425 0.1 1 10 50 2406 66 440
## 426 0.1 1 10 100 2369 103 383
## 427 0.1 2 10 150 2348 124 324
## 428 0.1 2 10 50 2362 110 371
## 429 0.1 2 10 100 2350 122 337
## 430 0.1 3 10 150 2342 130 298
## 431 0.1 3 10 50 2361 111 358
## 432 0.1 3 10 100 2346 126 317
## 433 0.1 1 10 150 2349 123 363
## 434 0.1 1 10 50 2401 71 438
## 435 0.1 1 10 100 2356 116 380
## 436 0.1 2 10 150 2343 129 325
## 437 0.1 2 10 50 2355 117 371
## 438 0.1 2 10 100 2345 127 347
## 439 0.1 3 10 150 2347 125 310
## 440 0.1 3 10 50 2355 117 362
## 441 0.1 3 10 100 2340 132 324
## 442 0.1 1 10 150 2319 153 329
## 443 0.1 1 10 50 2385 87 412
## 444 0.1 1 10 100 2331 141 341
## 445 0.1 2 10 150 2310 162 296
## 446 0.1 2 10 50 2324 148 343
## 447 0.1 2 10 100 2313 159 311
## 448 0.1 3 10 150 2294 178 285
## 449 0.1 3 10 50 2316 156 329
## 450 0.1 3 10 100 2305 167 294
## cell4 Resample
## 1 416 Fold01.Rep1
## 2 341 Fold01.Rep1
## 3 405 Fold01.Rep1
## 4 455 Fold01.Rep1
## 5 406 Fold01.Rep1
## 6 434 Fold01.Rep1
## 7 470 Fold01.Rep1
## 8 413 Fold01.Rep1
## 9 448 Fold01.Rep1
## 10 413 Fold02.Rep1
## 11 311 Fold02.Rep1
## 12 398 Fold02.Rep1
## 13 445 Fold02.Rep1
## 14 408 Fold02.Rep1
## 15 429 Fold02.Rep1
## 16 463 Fold02.Rep1
## 17 415 Fold02.Rep1
## 18 451 Fold02.Rep1
## 19 411 Fold03.Rep1
## 20 328 Fold03.Rep1
## 21 396 Fold03.Rep1
## 22 446 Fold03.Rep1
## 23 400 Fold03.Rep1
## 24 422 Fold03.Rep1
## 25 466 Fold03.Rep1
## 26 408 Fold03.Rep1
## 27 448 Fold03.Rep1
## 28 415 Fold04.Rep1
## 29 340 Fold04.Rep1
## 30 399 Fold04.Rep1
## 31 446 Fold04.Rep1
## 32 408 Fold04.Rep1
## 33 430 Fold04.Rep1
## 34 462 Fold04.Rep1
## 35 412 Fold04.Rep1
## 36 443 Fold04.Rep1
## 37 397 Fold05.Rep1
## 38 331 Fold05.Rep1
## 39 394 Fold05.Rep1
## 40 437 Fold05.Rep1
## 41 398 Fold05.Rep1
## 42 415 Fold05.Rep1
## 43 445 Fold05.Rep1
## 44 405 Fold05.Rep1
## 45 432 Fold05.Rep1
## 46 421 Fold06.Rep1
## 47 333 Fold06.Rep1
## 48 409 Fold06.Rep1
## 49 457 Fold06.Rep1
## 50 409 Fold06.Rep1
## 51 432 Fold06.Rep1
## 52 470 Fold06.Rep1
## 53 421 Fold06.Rep1
## 54 457 Fold06.Rep1
## 55 404 Fold07.Rep1
## 56 342 Fold07.Rep1
## 57 394 Fold07.Rep1
## 58 445 Fold07.Rep1
## 59 409 Fold07.Rep1
## 60 427 Fold07.Rep1
## 61 455 Fold07.Rep1
## 62 411 Fold07.Rep1
## 63 441 Fold07.Rep1
## 64 406 Fold08.Rep1
## 65 319 Fold08.Rep1
## 66 377 Fold08.Rep1
## 67 438 Fold08.Rep1
## 68 390 Fold08.Rep1
## 69 420 Fold08.Rep1
## 70 456 Fold08.Rep1
## 71 402 Fold08.Rep1
## 72 447 Fold08.Rep1
## 73 409 Fold09.Rep1
## 74 331 Fold09.Rep1
## 75 396 Fold09.Rep1
## 76 455 Fold09.Rep1
## 77 403 Fold09.Rep1
## 78 433 Fold09.Rep1
## 79 474 Fold09.Rep1
## 80 419 Fold09.Rep1
## 81 452 Fold09.Rep1
## 82 421 Fold10.Rep1
## 83 339 Fold10.Rep1
## 84 410 Fold10.Rep1
## 85 459 Fold10.Rep1
## 86 412 Fold10.Rep1
## 87 433 Fold10.Rep1
## 88 478 Fold10.Rep1
## 89 416 Fold10.Rep1
## 90 460 Fold10.Rep1
## 91 401 Fold01.Rep2
## 92 311 Fold01.Rep2
## 93 375 Fold01.Rep2
## 94 436 Fold01.Rep2
## 95 389 Fold01.Rep2
## 96 416 Fold01.Rep2
## 97 446 Fold01.Rep2
## 98 400 Fold01.Rep2
## 99 434 Fold01.Rep2
## 100 407 Fold02.Rep2
## 101 334 Fold02.Rep2
## 102 394 Fold02.Rep2
## 103 451 Fold02.Rep2
## 104 401 Fold02.Rep2
## 105 420 Fold02.Rep2
## 106 458 Fold02.Rep2
## 107 408 Fold02.Rep2
## 108 444 Fold02.Rep2
## 109 415 Fold03.Rep2
## 110 343 Fold03.Rep2
## 111 405 Fold03.Rep2
## 112 440 Fold03.Rep2
## 113 411 Fold03.Rep2
## 114 435 Fold03.Rep2
## 115 455 Fold03.Rep2
## 116 417 Fold03.Rep2
## 117 447 Fold03.Rep2
## 118 415 Fold04.Rep2
## 119 342 Fold04.Rep2
## 120 405 Fold04.Rep2
## 121 453 Fold04.Rep2
## 122 408 Fold04.Rep2
## 123 432 Fold04.Rep2
## 124 462 Fold04.Rep2
## 125 411 Fold04.Rep2
## 126 453 Fold04.Rep2
## 127 403 Fold05.Rep2
## 128 328 Fold05.Rep2
## 129 395 Fold05.Rep2
## 130 445 Fold05.Rep2
## 131 397 Fold05.Rep2
## 132 417 Fold05.Rep2
## 133 453 Fold05.Rep2
## 134 407 Fold05.Rep2
## 135 442 Fold05.Rep2
## 136 425 Fold06.Rep2
## 137 341 Fold06.Rep2
## 138 413 Fold06.Rep2
## 139 454 Fold06.Rep2
## 140 415 Fold06.Rep2
## 141 436 Fold06.Rep2
## 142 465 Fold06.Rep2
## 143 425 Fold06.Rep2
## 144 455 Fold06.Rep2
## 145 403 Fold07.Rep2
## 146 341 Fold07.Rep2
## 147 390 Fold07.Rep2
## 148 440 Fold07.Rep2
## 149 404 Fold07.Rep2
## 150 423 Fold07.Rep2
## 151 456 Fold07.Rep2
## 152 412 Fold07.Rep2
## 153 441 Fold07.Rep2
## 154 424 Fold08.Rep2
## 155 323 Fold08.Rep2
## 156 408 Fold08.Rep2
## 157 455 Fold08.Rep2
## 158 413 Fold08.Rep2
## 159 441 Fold08.Rep2
## 160 477 Fold08.Rep2
## 161 428 Fold08.Rep2
## 162 459 Fold08.Rep2
## 163 408 Fold09.Rep2
## 164 339 Fold09.Rep2
## 165 398 Fold09.Rep2
## 166 454 Fold09.Rep2
## 167 398 Fold09.Rep2
## 168 428 Fold09.Rep2
## 169 472 Fold09.Rep2
## 170 407 Fold09.Rep2
## 171 451 Fold09.Rep2
## 172 413 Fold10.Rep2
## 173 312 Fold10.Rep2
## 174 397 Fold10.Rep2
## 175 446 Fold10.Rep2
## 176 404 Fold10.Rep2
## 177 427 Fold10.Rep2
## 178 459 Fold10.Rep2
## 179 409 Fold10.Rep2
## 180 453 Fold10.Rep2
## 181 432 Fold01.Rep3
## 182 384 Fold01.Rep3
## 183 420 Fold01.Rep3
## 184 457 Fold01.Rep3
## 185 427 Fold01.Rep3
## 186 446 Fold01.Rep3
## 187 470 Fold01.Rep3
## 188 440 Fold01.Rep3
## 189 460 Fold01.Rep3
## 190 432 Fold02.Rep3
## 191 341 Fold02.Rep3
## 192 413 Fold02.Rep3
## 193 460 Fold02.Rep3
## 194 423 Fold02.Rep3
## 195 448 Fold02.Rep3
## 196 471 Fold02.Rep3
## 197 432 Fold02.Rep3
## 198 465 Fold02.Rep3
## 199 432 Fold03.Rep3
## 200 330 Fold03.Rep3
## 201 412 Fold03.Rep3
## 202 465 Fold03.Rep3
## 203 413 Fold03.Rep3
## 204 444 Fold03.Rep3
## 205 481 Fold03.Rep3
## 206 427 Fold03.Rep3
## 207 464 Fold03.Rep3
## 208 402 Fold04.Rep3
## 209 315 Fold04.Rep3
## 210 385 Fold04.Rep3
## 211 441 Fold04.Rep3
## 212 383 Fold04.Rep3
## 213 427 Fold04.Rep3
## 214 453 Fold04.Rep3
## 215 402 Fold04.Rep3
## 216 443 Fold04.Rep3
## 217 412 Fold05.Rep3
## 218 335 Fold05.Rep3
## 219 405 Fold05.Rep3
## 220 455 Fold05.Rep3
## 221 412 Fold05.Rep3
## 222 433 Fold05.Rep3
## 223 470 Fold05.Rep3
## 224 417 Fold05.Rep3
## 225 453 Fold05.Rep3
## 226 376 Fold06.Rep3
## 227 299 Fold06.Rep3
## 228 359 Fold06.Rep3
## 229 415 Fold06.Rep3
## 230 364 Fold06.Rep3
## 231 393 Fold06.Rep3
## 232 434 Fold06.Rep3
## 233 377 Fold06.Rep3
## 234 416 Fold06.Rep3
## 235 379 Fold07.Rep3
## 236 304 Fold07.Rep3
## 237 372 Fold07.Rep3
## 238 417 Fold07.Rep3
## 239 379 Fold07.Rep3
## 240 403 Fold07.Rep3
## 241 435 Fold07.Rep3
## 242 385 Fold07.Rep3
## 243 418 Fold07.Rep3
## 244 417 Fold08.Rep3
## 245 337 Fold08.Rep3
## 246 402 Fold08.Rep3
## 247 441 Fold08.Rep3
## 248 407 Fold08.Rep3
## 249 429 Fold08.Rep3
## 250 456 Fold08.Rep3
## 251 414 Fold08.Rep3
## 252 442 Fold08.Rep3
## 253 414 Fold09.Rep3
## 254 369 Fold09.Rep3
## 255 404 Fold09.Rep3
## 256 443 Fold09.Rep3
## 257 410 Fold09.Rep3
## 258 427 Fold09.Rep3
## 259 463 Fold09.Rep3
## 260 417 Fold09.Rep3
## 261 448 Fold09.Rep3
## 262 424 Fold10.Rep3
## 263 350 Fold10.Rep3
## 264 408 Fold10.Rep3
## 265 463 Fold10.Rep3
## 266 409 Fold10.Rep3
## 267 435 Fold10.Rep3
## 268 489 Fold10.Rep3
## 269 414 Fold10.Rep3
## 270 468 Fold10.Rep3
## 271 409 Fold01.Rep4
## 272 333 Fold01.Rep4
## 273 405 Fold01.Rep4
## 274 454 Fold01.Rep4
## 275 417 Fold01.Rep4
## 276 430 Fold01.Rep4
## 277 462 Fold01.Rep4
## 278 419 Fold01.Rep4
## 279 450 Fold01.Rep4
## 280 392 Fold02.Rep4
## 281 289 Fold02.Rep4
## 282 378 Fold02.Rep4
## 283 433 Fold02.Rep4
## 284 383 Fold02.Rep4
## 285 407 Fold02.Rep4
## 286 449 Fold02.Rep4
## 287 395 Fold02.Rep4
## 288 433 Fold02.Rep4
## 289 420 Fold03.Rep4
## 290 338 Fold03.Rep4
## 291 414 Fold03.Rep4
## 292 460 Fold03.Rep4
## 293 414 Fold03.Rep4
## 294 441 Fold03.Rep4
## 295 474 Fold03.Rep4
## 296 430 Fold03.Rep4
## 297 464 Fold03.Rep4
## 298 410 Fold04.Rep4
## 299 354 Fold04.Rep4
## 300 386 Fold04.Rep4
## 301 443 Fold04.Rep4
## 302 400 Fold04.Rep4
## 303 428 Fold04.Rep4
## 304 464 Fold04.Rep4
## 305 408 Fold04.Rep4
## 306 450 Fold04.Rep4
## 307 414 Fold05.Rep4
## 308 327 Fold05.Rep4
## 309 395 Fold05.Rep4
## 310 445 Fold05.Rep4
## 311 403 Fold05.Rep4
## 312 427 Fold05.Rep4
## 313 456 Fold05.Rep4
## 314 414 Fold05.Rep4
## 315 445 Fold05.Rep4
## 316 432 Fold06.Rep4
## 317 339 Fold06.Rep4
## 318 412 Fold06.Rep4
## 319 465 Fold06.Rep4
## 320 417 Fold06.Rep4
## 321 452 Fold06.Rep4
## 322 468 Fold06.Rep4
## 323 427 Fold06.Rep4
## 324 463 Fold06.Rep4
## 325 423 Fold07.Rep4
## 326 346 Fold07.Rep4
## 327 412 Fold07.Rep4
## 328 447 Fold07.Rep4
## 329 417 Fold07.Rep4
## 330 439 Fold07.Rep4
## 331 461 Fold07.Rep4
## 332 428 Fold07.Rep4
## 333 451 Fold07.Rep4
## 334 396 Fold08.Rep4
## 335 303 Fold08.Rep4
## 336 380 Fold08.Rep4
## 337 443 Fold08.Rep4
## 338 390 Fold08.Rep4
## 339 409 Fold08.Rep4
## 340 452 Fold08.Rep4
## 341 400 Fold08.Rep4
## 342 438 Fold08.Rep4
## 343 420 Fold09.Rep4
## 344 346 Fold09.Rep4
## 345 410 Fold09.Rep4
## 346 441 Fold09.Rep4
## 347 409 Fold09.Rep4
## 348 423 Fold09.Rep4
## 349 457 Fold09.Rep4
## 350 416 Fold09.Rep4
## 351 441 Fold09.Rep4
## 352 401 Fold10.Rep4
## 353 332 Fold10.Rep4
## 354 387 Fold10.Rep4
## 355 438 Fold10.Rep4
## 356 391 Fold10.Rep4
## 357 418 Fold10.Rep4
## 358 462 Fold10.Rep4
## 359 401 Fold10.Rep4
## 360 440 Fold10.Rep4
## 361 414 Fold01.Rep5
## 362 333 Fold01.Rep5
## 363 400 Fold01.Rep5
## 364 438 Fold01.Rep5
## 365 402 Fold01.Rep5
## 366 421 Fold01.Rep5
## 367 465 Fold01.Rep5
## 368 409 Fold01.Rep5
## 369 439 Fold01.Rep5
## 370 425 Fold02.Rep5
## 371 344 Fold02.Rep5
## 372 418 Fold02.Rep5
## 373 459 Fold02.Rep5
## 374 430 Fold02.Rep5
## 375 448 Fold02.Rep5
## 376 480 Fold02.Rep5
## 377 439 Fold02.Rep5
## 378 464 Fold02.Rep5
## 379 404 Fold03.Rep5
## 380 319 Fold03.Rep5
## 381 389 Fold03.Rep5
## 382 433 Fold03.Rep5
## 383 390 Fold03.Rep5
## 384 415 Fold03.Rep5
## 385 458 Fold03.Rep5
## 386 407 Fold03.Rep5
## 387 445 Fold03.Rep5
## 388 419 Fold04.Rep5
## 389 330 Fold04.Rep5
## 390 405 Fold04.Rep5
## 391 448 Fold04.Rep5
## 392 408 Fold04.Rep5
## 393 433 Fold04.Rep5
## 394 468 Fold04.Rep5
## 395 420 Fold04.Rep5
## 396 452 Fold04.Rep5
## 397 393 Fold05.Rep5
## 398 321 Fold05.Rep5
## 399 378 Fold05.Rep5
## 400 420 Fold05.Rep5
## 401 390 Fold05.Rep5
## 402 410 Fold05.Rep5
## 403 440 Fold05.Rep5
## 404 396 Fold05.Rep5
## 405 424 Fold05.Rep5
## 406 386 Fold06.Rep5
## 407 302 Fold06.Rep5
## 408 372 Fold06.Rep5
## 409 425 Fold06.Rep5
## 410 382 Fold06.Rep5
## 411 400 Fold06.Rep5
## 412 442 Fold06.Rep5
## 413 384 Fold06.Rep5
## 414 431 Fold06.Rep5
## 415 432 Fold07.Rep5
## 416 350 Fold07.Rep5
## 417 425 Fold07.Rep5
## 418 463 Fold07.Rep5
## 419 426 Fold07.Rep5
## 420 443 Fold07.Rep5
## 421 480 Fold07.Rep5
## 422 432 Fold07.Rep5
## 423 464 Fold07.Rep5
## 424 407 Fold08.Rep5
## 425 328 Fold08.Rep5
## 426 385 Fold08.Rep5
## 427 444 Fold08.Rep5
## 428 397 Fold08.Rep5
## 429 431 Fold08.Rep5
## 430 470 Fold08.Rep5
## 431 410 Fold08.Rep5
## 432 451 Fold08.Rep5
## 433 405 Fold09.Rep5
## 434 330 Fold09.Rep5
## 435 388 Fold09.Rep5
## 436 443 Fold09.Rep5
## 437 397 Fold09.Rep5
## 438 421 Fold09.Rep5
## 439 458 Fold09.Rep5
## 440 406 Fold09.Rep5
## 441 444 Fold09.Rep5
## 442 439 Fold10.Rep5
## 443 356 Fold10.Rep5
## 444 427 Fold10.Rep5
## 445 472 Fold10.Rep5
## 446 425 Fold10.Rep5
## 447 457 Fold10.Rep5
## 448 483 Fold10.Rep5
## 449 439 Fold10.Rep5
## 450 474 Fold10.Rep5boostingtrain$perfNames## [1] "Accuracy" "Kappa"#Optimal model
# boostingoptimal <- gbm(income ~., data = combined[1:32402, ], distribution = "bernoulli", n.trees = 150,
# interaction.depth = 3, shrinkage = 0.1)
# summary(boostingoptimal)
# varImp(boostingoptimal, numTrees = 150)
#Test error of the optimal model
# testerroroptimal <- c()
# thresh <- 0.5
# for(i in 1:15){
# yhat <- predict(boostingtrain, newdata = combined[32403:48598, -44], n.trees = (10 * i), type = "prob")
# yhat <- (yhat > thresh)
# testerroroptimal[i] <- mean(yhat != combined[32403:48598, 44])
# }
# plot(testerroroptimal)
#ROC curve - testing
set.seed(100)
posopt <- c()
posopt <- predict(boostingtrain, newdata = combined[32403:48598, -44], n.trees = 150, type = "prob")
predictsopt <- prediction(posopt[, 2], combined[32403:48598, 44])
rocopt <- ROCR::performance(predictsopt, measure = "tpr", x.measure = "fpr")
plot(rocopt)
abline(0, 1, col = "red")
aucopt <- ROCR::performance(predictsopt, measure = "auc")
aucopt@y.values## [[1]]
## [1] 0.9177315#ROC and AUC combined testing
plot(roc1, type = "l", col = "red")
par(new = TRUE)
plot(roc2, type = "l", col = "green")
par(new = TRUE)
plot(roc3, type = "l", col = "blue")
par(new = TRUE)
plot(roc4, type = "l", col = "black")
par(new = TRUE)
plot(roc5, type = "l", col = "yellow")
par(new = TRUE)
plot(rocopt, type = "l", col = "purple",
main = "1: red, 2: green, 3: blue, 4: black, 5: yellow, trained: purple")
#Train error of the optimal model
# trainerroropt <- c()
# thresh <- 0.5
# for(i in 1:500){
# yhat <- predict(boostingoptimal, newdata = combined[1:32402, -44], n.trees = (10 * i), type = "response")
# yhat <- (yhat > thresh)
# trainerroropt[i] <- mean(yhat != combined[1:32402, 44])
# }
# plot(trainerroropt)
#ROC curve - training
pos5opt <- c()
pos5opt <- predict(boostingtrain, newdata = combined[1:32402, -44], n.trees = 150, type = "prob")
predicts5opt <- prediction(pos5opt[, 2], combined[1:32402, 44])
roc5opt <- ROCR::performance(predicts5opt, measure = "tpr", x.measure = "fpr")
plot(roc5opt)
abline(0, 1, col = "red")
auc5opt <- ROCR::performance(predicts5opt, measure = "auc")
auc5opt@y.values## [[1]]
## [1] 0.9215941# boosting <- C50::C5.0(newtrain2[, -45], newtrain2[, 45], trials = 10) #boosting iteration = 10
# summary(boosting)
#
# classes <- predict(boosting, newtest2[, -45], type = "class")
# table(classes, newtest2[, 45])
#
# acc <- sum(classes == newtest2[, 45]) / length(newtest2[, 45])
# acc
# https://github.com/topepo/caret/blob/master/RegressionTests/Code/C5.0.R
#
# cctrl1 <- trainControl(method = "cv", number = 3, returnResamp = "all",
# classProbs = TRUE,
# summaryFunction = twoClassSummary)
# cctrl2 <- trainControl(method = "LOOCV",
# classProbs = TRUE, summaryFunction = twoClassSummary)
# cctrl3 <- trainControl(method = "none",
# classProbs = TRUE, summaryFunction = twoClassSummary)
# cctrlR <- trainControl(method = "cv", number = 3, returnResamp = "all",
# classProbs = TRUE,
# search = "random")
#
# y <- as.numeric(newtrain2$income) - 1
# test_class_cv_model <- train(newtrain2[, -45], y,
# method = "C5.0",
# trControl = cctrl1,
# metric = "ROC",
# control = C50::C5.0Control(seed = 1),
# preProc = c("center", "scale"))\(\\\)
\(\\\)
Threshold decision
We commented out, since it takes extremly long to run this chunk…
\(\\\)
\(\\\)
Model selection
set.seed(100)
thresh <- 0.5
a <- predict(boosting1, newdata = combined[32403:48598, -44], n.trees = 5000, type = "response")
a1 <- (a > thresh)
a2 <- mean(a1 == combined[32403:48598, 44])
b <- predict(boosting2, newdata = combined[32403:48598, -44], n.trees = 2000, type = "response")
b1 <- (b > 0.3)
b2 <- mean(b1 == combined[32403:48598, 44])
c <- predict(boosting3, newdata = combined[32403:48598, -44], n.trees = 5000, type = "response")
c1 <- (c > thresh)
c2 <- mean(c1 == combined[32403:48598, 44])
d <- predict(boosting4, newdata = combined[32403:48598, -44], n.trees = 200, type = "response")
d1 <- (d > thresh)
d2 <- mean(d1 == combined[32403:48598, 44])
e <- predict(boosting5, newdata = combined[32403:48598, -44], n.trees = 800, type = "response")
e1 <- (e > thresh)
e2 <- mean(e1 == combined[32403:48598, 44])
f <- predict(boostingtrain, newdata = combined[32403:48598, -44], n.trees = 150, type = "raw")
f1 <- as.numeric(f) - 1
f2 <- mean(f1 == combined[32403:48598, 44])
a2## [1] 0.8631761b2## [1] 0.835021c2## [1] 0.857187d2## [1] 0.8700296e2## [1] 0.8710175f2## [1] 0.8670042\(\\\)
\(\\\)
Best model
final.auc4 <- boosting5
final.thres4 <- boosting4Comment:
The model with the highest AUC and the highest testing set accuracy rate are the same!